CC BY
35
УДК 621.306
МЕТОДИКА ОПТИМИЗАЦИИ СТРАТЕГИИ ТЕХНИЧЕСКОГО ДИАГНОСТИРОВАНИЯ НА ОСНОВЕ МОДЕЛИ МАРКОВСКОЙ ЦЕПИ
© 2013 г. A.A. Строцев, Г.А. Шестаков
Строцев Андрей Анатольевич - доктор технических наук, доцент, профессор, кафедра космического приборостроения и инновационных технологий, Южный федеральный университет, ул. Мильчакова, 10, г. Ростов-на-Дону, 344090, e-mail: aastrocev@gmail. com.
Шестаков Геннадий Анатольевич - соискатель, начальник информационно-технического отдела, управление информатизации, Педагогический институт Южного федерального университета, ул. Б. Садовая, 33, г. Ростов-на-Дону, 344082, e-mail: cetaganda@rambler.com.
Strotsev Andrey Anatolevich - Doctor of Technical Science, Associate Professor, Professor, Department of Space Device and Innovative Technologies, Southern Federal University, Milchakov St., 10, Rostov-on-Don, 344090, e-mail: aastro-cev@gmail. com.
Shestakov Gennady Anatolevich - Competitor, Head of Information Technology Department, Information Management, Pedagogical Institute of Southern Federal University, B. Sadovaya St., 33, Rostov-on-Don, 344082, e-mail: ceta-ganda@rambler.com.
Предложена методика выбора оптимальной стратегии поиска и устранения неисправности на основе модели цепи Маркова с теоретико-игровым определением неизвестных вероятностей перехода. Общая постановка задачи рассмотрена с неявным представлением функции выигрыша первого игрока, что влечёт за собой необходимость применения итеративных методов её решения. Предложен приближённый подход, основанный на её линейной аппроксимации. На примере проведена оценка относительного значения невязки, связанной с приближённым представлением функции выигрыша.
Ключевые слова: марковские цепи, теоретико-игровая оптимизация, матричные игры.
The method for selecting an optimal search and the fault-based strategy on the Markov chain model base with a game-theoretic definition of the unknown transition probabilities is proposed. The general problem is considered an implicit representation of the first player payoff function, which entails the use of iterative methods to solve it. An approximate approach, based on its linear approximation is proposed. On the example is evaluated of the relative residual value, associated with the approximate representation of the payoff function.
Keywords: Markov chains, game-theoretical optimization, matrix games.
Одной из важных характеристик качества функционирования сложных технических систем (СТС) является их надёжность, определяемая, например, вероятностью нахождения системы в исправном состоянии, коэффициентом готовности и т.д.
В [1] рассмотрены возможности совместного использования аппарата теории игр и теории марковских дискретных случайных процессов с непрерывным временем для построения математической модели сложной системы, функционирующей на начальном этапе эксплуатации, при поиске и устранении её неисправности. Однако широкое применение цифровой техники в СТС приводит к необходимости перехода от моделей дискретных марковских процессов с непрерывным временем к моделям, дискретным по времени, т.е. к цепям Маркова. Такие модели широко применяются для описания поведения различных систем, в частности, в [2] на основе марковских моделей проведён анализ надежности вычислительного управляющего комплекса, в [3] рассмотрена модель системы синхронизации, описываемая состояниями, в которых может находиться система, и вероятностями перехода между ними. Кроме того, периодичность контроля СТС определяется нормативными документами, например, в виде стандартов организаций [4].
Однако в практических задачах необходимые исходные данные для построения модели в виде цепи Маркова не всегда известны. В частности, при отсутствии статистики отказов вследствие инновационно-сти (новизны) СТС могут быть не заданы вероятности перехода из исправного в неисправные состояния. Поэтому актуальным является построение методики оптимизации стратегии поиска и устранения неисправности на основе цепи Маркова с теоретико-игровым определением неизвестных значений вероятностей перехода.
Рассмотрим ситуацию, когда при функционировании СТС известны (оценены): 1) состояние рассматриваемого процесса: S0 - состояние, при котором СТС исправна; Sij - состояние, в котором СТС неисправна вследствие возникновения ]-й причины и устранение этой неисправности осуществляется на основе /'-го алгоритма, г = 1, п, у = 1, т ; 2) вероятность перехода системы из исправного состояния в неисправные - Р0;
3) граф состояний с множеством вершин
= Бо, Бу, г = 1, п, у = 1, т} и множеством дуг
и = {Бо, Бу ) (Бу,Бо ) (50, Бо^(Бу, Бу )г =1 п у =1 т}
4) вероятности перехода по дугам Е(Б*, Б**):
р(Бгу, Б0)= Ру > р(Бгу, Бгу ) = 1- Ргу > ' = 1 п у = 1 т Р(Бо, Бо ) = 1 - Ро . При этом вероятности р(Бо, Бу ) = Цу для всех г = 1, п и у = 1, т неизвестны.
Поскольку рассматриваемая цепь является эргодиче-ской, для неё могут быть определены асимптотические значения вероятностей нахождения системы в соответствующих состояниях % = (%о %ц %12...%1т ...7Тптт.е. значения, не зависящие от времени и начального состояния системы. При этом вектор вероятностей п является решением системы уравнений вида
[(ц-РТ )•% = оу,
Hv- PT
(1)
V = n • m +1,
где I v - единичная матрица, dim Iv = vxv; Ev, 0v - векторы с единичными и нулевыми элементами, dimEv = dim0v = v ; T - знак операции транспонирования; P - матрица вероятностей перехода,
... ... ... . л
p
P0 Pii P12
qii
1 - Pii 0
qi2 0
1 - Pi2
qtJ ■ 0
qnm 0 0
(2)
V Рпт о о о 1 - Рпт у
Поскольку вероятности Цу в (2) неизвестны, для
их определения в математической модели рассматриваемого процесса воспользуемся теоретико-игровым подходом.
Из анализа графа состояний, заданного множествами S и и, следует, что
= P0^i Л j , i = 1, n, J = 1,,
(3)
где - вероятность выбора /-го алгоритма поиска и устранения неисправности; Ц у - вероятность возникновения у-й причины неисправности.
Возможные значения этих вероятностей образуют множества смешанных стратегий первого и второго игроков:
М^ = |х = (^ ¡^... ^)Т: ^ ^ о, г = \7п, = ^, (4) Мц = |у = (ц ц ...Цт )Т : Л у ^ о, у = 1^, т ц у = (5)
0
Тогда с учётом (3) - (5) выражения (1), (2) прини-
мают вид
J(I v- P(X ,Y) 1eT -л = 1,
= 0„
P(X, Y) =
1 - Pq PQ?I Л1 Po?i Л2 Pll 1 - P11 0 P12 0 1 - Pl2
fij-
Pq?, л 0 0
0
0
P0? яЛт 0 0
1 — Pnm
\
. (6)
Обозначим элемент л о в решении (6) через л0 (X, У). Тогда ситуация равновесия в смешанных стратегиях для антагонистической игры определяется равенством
шахшшло (X, У)=штшах ло (X, У), (7)
м? мЛ
мЛ м?
причём оптимальные смешанные стратегии игроков имеют вид
( \
X = arg max
м,
min
Чмл
(X, Y)
(8)
Y = arg min
м„
max
Vм?
ло (X, Y)
Выражения (4) - (8) определяют математическую модель задачи нахождения оптимальной смешанной
* * * * т
стратегии X = (£, * ^ *... ^ ) поиска и устранения
неисправностей на основе цепи Маркова с теоретико-игровым определением неизвестных значений вероятностей переходов из исправного Бо в каждое из
неисправных состояний Бу, г = 1, п, у = 1, т .
Сложность решения задачи (4) - (8) связана с неявным представлением функции выигрыша первого игрока, что влечёт за собой необходимость применения итеративных методов её решения.
С другой стороны, в связи с отсутствием (или недостаточностью) статистических данных о вероятностях л у, у = 1, т , по мере получения и обобщения наблюдений в виде оценок
результатов )
Y = (Л Л ••• Л )
1 2
T
этих вероятностей, для нахожде-
ния рациональных значении вектора смешанной стра-
тегии первого игрока X = (? * ? *... ? ) возможно
использование в линейной форме как результатов решения задачи (4) - (8), так и решения задачи вида
X = arg max | л q I X, Y
м?
При этом ) * * )
X = (1 — X)X +XX, ^ е [0,1],
(9)
) ) ) )
T
где с ростом достоверности оценок У = (Л1Л2... Лт) осуществляется увеличение параметра линейной формы X от 0 до 1.
,, ............* т
В этом случае для поиска X = (£, * ^ *... ^ ) можно воспользоваться более простой методикой, основанной на линейном представлении функции выигрыша.
Для её построения положим * * _ _
Чу = Л у , г = 1, п, у = 1, т ,
* *
где , л у - компоненты векторов оптимальных смешанных стратегий X , У соответствующих игроков для модели игры, определяемой матрицей А с элементами ау = л у , г = 1, п, у = 1, т; л у - стационарная
вероятность нахождения системы в состоянии Бо, определяемая как результат решения (6) при
X = еп, г = СП, У = ет, у = 1т , (10)
еп (ет ) - вектор размерности п (да), 1-й (/-й) элемент
• у
которого равен единице, а остальные - нулю.
Ясно, что выражения для определения X , У зависят от выбранной конкретной модели игры, антагонистические модели которых в наиболее полной мере представлены в монографии [1].
В частности, для модели игры вида
~ ~ ~ п т
Г^ =< М^,МЛ,Н >, где Н = 22 ауу£,глу, компоненту =1
ты векторов оптимальных смешанных стратегий определяются на основе решения следующих задач линейного программирования: найти
T '
min J = шт(/я X}
X
X
при ограничениях
ATjX > 1, j = im, X > 0;
найти
t r
max J = max{/t11Y } Y Y
при ограничениях
AY < 1, i = in, Y > 0,
(11) (12)
(13)
(14)
где агу > 0, г = 1, п, у = 1, т ; 1п и 1т - векторы соответствующей размерности, каждая компонента которых равна единице; А у , А* - /-й столбец и /'-я строка матрицы А. При этом нахождение оптимальных смешанных стратегий X , У и значения игры т
осуществляется по выражениям:
* 1 ~ * * 1 ~ * 1 1
X =У X , У = =* У , = =*, (15) —* — *
где X , У , J , J - решения задач (11), (12) и (13), (14).
Относительное значение невязки, связанной с приближённым представлением функции выигрыша, можно оценить по выражению
е =
л 0 — ю / л 0 -100% ,
Y).
(16)
где л0 = л0 (
Таким образом, в соответствии с предлагаемой методикой приближённое решение задачи (4) - (8) включает следующие этапы:
0
ят
1. Формирование матрицы игры, определяющей функцию выигрыша первого игрока, на основе многократного решения системы линейных алгебраических уравнений (6) для различных сочетаний чистых стратегий игроков (10).
2. Решение прямой и двойственной задач линейного программирования (11) - (15) с оценкой погрешности по выражению (16).
Отметим, что стационарная вероятность нахождения системы в исправном состоянии %о зависит от известных вероятностей перехода за заданный интервал времени из неисправных Sj, г = 1, п, у = 1, т, состояний, в исправное ^0). На основе этой зависимости могут быть поставлены оптимизационные задачи модернизации системы технического диагностирования, решение которых обеспечит максимизацию %о
по элементам pj, г = 1, п, у = 1, т, при ограничениях на ресурсы их изменения. При этом в полной мере может быть использован научно-методический аппарат управляемых цепей Маркова и управляемых полумарковских процессов [5].
Рассмотрим пример.
Пусть Ро = о,2 и
о,8о ^
\\Рц\\ =
( 0,85 0,70 0,80
0,60 0,80 0,90
0,90 0,70
Тогда на основе решения (6) для всех сочетаний г = 1, п , и У = е у, у = 1, т , получим матрицу
X = е,
игры
Iij г0
(0,8095 0,7778 0,8000
j
0,7500 0,8000 0,8182
0,8000^ 0,8181 0,7778
при этом в результате решения задач (11) - (15) определим оптимальные смешанные стратегии игроков:
X* = (о,2498 о,3о42 о,44бо)Т ,
у* = (о,478о о,1787 о,3433)Т и значение игры
п т ■ ■ * *
ш = %о ^Л / = о,795б49 . г=1у=1
*
Реализация X при обнаружении факта неисправности, вызванной одной из трёх рассматриваемых причин, осуществляется путём моделирования случайных событий (выбора одного из трёх алгоритмов поиска и устранения неисправности) с соответствующими вероятностями их наступления.
Далее при достаточном объёме наблюдений могут быть получены с некоторой доверительной вероятностью
)
оценки Y = (q q
1 2
q )T . Пусть Y = (0,4 0,1 0,5)
)
T
Тогда на основе решения задачи (10) для
определим
) г ) п т ..
X = (о 1 о)Т и значение ю = £ £ %у ^ц,= о,8оо2о2.
г=1]=1 у
Таким образом, учёт дополнительной информации о вероятностях возникновения причин неисправности позволяет на основе корректировки выбора стратегий поиска и устранения неисправности (на основе выражения (9)) увеличить вероятность нахождения СТС в исправном состоянии.
Оценим полученные результаты. Для этого решим (6) при X* = (о,2498 о,3о42 о,44бо)Т и
у* = (о,478о о,1787 о,3433)Т и получим стационарное значение вероятности нахождения системы в
*
исправном состоянии: %о = о,795222 . Тогда значение невязки (15) для примера составляет малую величину е « о,о5 %, что свидетельствует о результативности предложенного подхода.
Следует отметить, что применение рассмотренной методики для решения задач поиска и устранения неисправностей особенно актуально в системах дистанционного контроля с заданной периодичностью выполнения диагностических операций. Такие системы, как правило, имеют пространственную топологию и (или) большое число источников информации с малым числом каналов передачи (приёма) информации.
Поскольку полученное решение основано на применении теоретико-игровой модели, оно будет обладать его свойствами - при отклонении распределения вероятностей переходов в неисправные состояния от оптимального вероятность нахождения системы в исправном состоянии не будет уменьшаться. Таким образом, оценка этой вероятности является максимально гарантированной.
Литература
1. Макаров Ю.Н., Строцев А.А. Методология исследова-
ния сложных организационно-технических систем, функционирующих в конкурентной среде при ограниченных ресурсах. Ростов н/Д, 2010. 132 с.
2. Викторова В.С., Волик Б.Г., Степанянц А.С. Анализ
надежности вычислительного управляющего комплекса методом комбинации расчетных моделей // Надёжность. 2006. № 2. С. 53-59.
3. Минасьянц В.Р., Стадницкий А.И. Алгоритм поиска
оптимальных параметров системы синхронизации блоковых кодов // Общие вопросы радиоэлектроники. 2011. Вып. 2. С. 80-85.
4. СТО 17330282.27.140.001-2006. Стандарт организации
ОАО РАО «ЕЭС России». Методика оценки технического состояния основного оборудования гидроэлектростанций.
5. Королюк В.С., Броди С.М., Турбин А.Ф. Полумарковские
процессы и их применение // Итоги науки и техники. Теория вероятностей. Математическая статистика. Теоретическая кибернетика. 1974. Т. 11. С. 47-97.
Поступила в редакцию
9 июня 2012 г.
m
>J
п
0
