CC BY
23
УДК 004.021+004.67 В. В. Щербинин1
СРАВНЕНИЕ СЕМЕЙСТВ АЛГОРИТМОВ РАСПОЗНАВАНИЯ НЕШТАТНОГО ПОВЕДЕНИЯ ДИНАМИЧЕСКИХ СИСТЕМ
Рассматривается задача распознавания участков нештатного поведения в многомерных фазовых траекториях динамических систем. Описываются алгоритмы, решающие эту задачу при помощи аксиоматического подхода к распознаванию нештатного поведения динамических систем. Рассматриваются два параметрических семейства алгоритмов распознавания, основанных на этом подходе. Для первого параметрического семейства доказано необходимое условие существования алгоритма распознавания, делающего ограниченное число ошибок на произвольной фазовой траектории. Показано, что в процессе обучения первого параметрического семейства это условие может нарушиться, что не может произойти при обучении второго параметрического семейства. Приведены результаты численного исследования, демонстрирующие увеличение качества распознавания и уменьшение времени обучения второго параметрического семейства по сравнению с первым.
Ключевые слова: задача обучения по прецедентам, параметрическое семейство алгоритмов, алгоритм распознавания, многомерная фазовая траектория, обучающая выборка.
1. Введение. Рассмотрим систему, информация о поведении которой доступна в виде фазовой траектории в пространстве показаний датчиков системы. Датчики опрашиваются с некоторой фиксированной частотой Фазовая траектория X в пространстве показаний датчиков представляет собой набор последовательных измерений показаний датчиков системы: X = (xi,x2,... ,хп), где Hi = x(to + i-r) — точка в многомерном фазовом пространстве показаний датчиков. Будем обозначать длину (количество отсчетов) траектории X через 1еп(Х).
Будем говорить, что траектория X = (xi, х2, ■ ■ •, Xk) входит в траекторию Y = • • •, Ут)-,
если X является подстрокой Y:
3s € N : s тп — Xi = t/s+ii i = 1,к.
Система может демонстрировать два типа поведения — нормальное поведение и нештатное поведение. Будем считать, что возможно L классов нештатного поведения, для каждого из которых существует траектория Xlanom, характерная для этого класса нештатного поведения. Такая траектория называется эталонной траекторией нештатного поведения класса I.
Задача распознавания нештатного поведения формулируется следующим образом [1, 2]. Дано:
1) набор из L классов нештатного поведения, для каждого из которых задана эталонная траектория Х'апот;
2) наблюдаемая траектория системы X, которая может содержать вхождения эталонных траекторий с искажениями;
3) ограничения на полноту и точность распознавания: е\ ^ с\, е2 ^ с2.
Требуется выделить в наблюдаемой траектории вхождения эталонных траекторий нештатного поведения и указать класс нештатного поведения для каждого найденного вхождения.
Особенностью задачи является то, что эталонные траектории входят в наблюдаемую траекторию с искажениями. Искажения могут быть по амплитуде и по времени. Участок нештатного поведения является искаженным относительно эталонной траектории по амплитуде, если значения длины участка и эталонной траектории совпадают и значения в некоторых точках участка отличаются от значений в соответствующих точках эталонной траектории. Участок нештатного поведения является искаженным относительно эталонной траектории по времени, если он может быть получен из эталонной траектории удалением отсчетов или добавлением новых отсчетов. Примером искажений по амплитуде является стационарный шум.
В работе [1] рассматривались методы решения поставленной задачи, основанные на искусственных нейронных сетях [3], преобразовании Фурье [4], вейвлет-преобразовании [5], алгоритме Гусеница-SSA
1 Факультет ВМК МГУ, асп., e-mail: wictorQlvk.cs.msu.su
[6], алгоритмах нечеткого сопоставления строк и DTW [7], а также метод на основе идей аксиоматического подхода [8]. Проведенное в работе [1] исследование показало, что среди перечисленных подходов алгоритм на основе аксиоматического подхода демонстрирует наилучшую устойчивость к искажениям.
В настоящей работе рассматривается параметрическое семейство алгоритмов распознавания на основе аксиоматического подхода, введенное в [1], а также описывается модификация этого параметрического семейства, позволяющая добиться увеличения качества распознавания по сравнению с оригинальным параметрическим семейством.
2. Аксиоматический подход к распознаванию нештатного поведения динамических систем. В данной работе задача распознавания нештатного поведения динамических систем решается при помощи аксиоматического подхода. Идея использования аксиоматического подхода для выделения трендов была предложена в работе [9], в [8] было предложено использование этого подхода для обнаружения нештатных режимов работы динамических систем.
Пусть X = (xi, жг, • • •, Xk) — одномерная траектория, xt G Ж. Элементарное условие (ЭУ) ее = ec(i, Х,р) — это функция, определенная в точке i и ее окрестности на траектории X. Эта функция зависит от набора параметров р и принимает значения из множества {true, false}. Пример ЭУ:
,, ч Г true, если Щ G fi — i + ri, a ^ xs ^ b, ec(t,X,p) = < „ .
glaise иначе.
Здесь p = {a, Ь, r) — набор параметров данного ЭУ, a, b G Ж, a < b, l,r € N+.
Мы ввели понятие ЭУ для одномерных траекторий. Однако многомерную траекторию с числом размерностей п можно рассматривать как п одномерных траекторий. Будем рассматривать ЭУ для многомерных траекторий, считая номер одномерной траектории, к которой применяется ЭУ, одним из параметров ЭУ.
Пусть X = (жГ, Щ,..., х^) — многомерная траектория, £M.S.
Аксиома а = a(t,X) — это функция, задаваемая булевой формулой над набором ЭУ, каждое из которых определено в точке i и ее окрестности на многомерной траектории X:
р Q
a(t,X) = \/ Д eCy(i,X,py). i=ij=i
Конечное множество аксиом As = {ai, «2, • • •, ат} называется системой аксиом, если для него выполняется следующее условие:
VI V^Gl 3!aj G As : a(t,X) = true. (1)
Таким образом, для любой точки i любой траектории X существует ровно одна аксиома ai G As, выполняющаяся в точке i. Это условие называется условием однозначности и полноты.
Разметка траектории X = (жГ, жг,..., ж£) системой аксиом As = {ai, «2, • • •, ат} — это конечная последовательность
J = О'ъ .72, • • -,jk)
номеров аксиом из As, такая, что a,:jt истинна в точке i траектории X.
3. Параметрическое семейство алгоритмов распознавания, использующих разметку траекторий системой аксиом. Опишем параметрическое семейство алгоритмов распознавания нештатного поведения, основанное на аксиоматическом подходе и описанное в работе [1].
На вход алгоритму распознавания подается наблюдаемая траектория X, система аксиом As и разметки эталонных траекторий {«/in0m}£i системой аксиом As. Для распознавания нештатного поведения выполняются следующие действия:
1) строится разметка наблюдаемой траектории J системой аксиом As;
2) проводится нечеткий поиск разметок эталонных траекторий в разметке наблюдаемой траектории. Обнаруженные вхождения разметок эталонных траекторий считаются участками нештатного поведения.
При нечетком поиске разметок, по сути, решается задача нечеткого поиска заданных подстрок в заданной строке.
Таким образом, для того чтобы построить алгоритм распознавания, необходимо построить систему аксиом As, разметки эталонных траекторий {</inom}^=i системой аксиом As и алгоритм поиска разметок Asearch.
В качестве алгоритма поиска разметок в работах [1] и [2] используется алгоритм нечеткого поиска подстрок на основе DTW [7]. Разметки эталонных траекторий строятся при помощи системы аксиом As по эталонным траекториям, заданным во входных данных задачи. Таким образом, при обучении алгоритма распознавания, основанного на аксиоматическом подходе, основную сложность представляет построение системы аксиом.
Обозначим описанное параметрическое семейство через S\\
S1 = {(-<4.5, {Jan0m}i=l5 ^search)}-
3.1. Необходимое условие обучаемости параметрического семейства. Будем говорить, что две траектории X ш Y (len(X) ^ len(F)) являются различимыми в аксиомах из множества аксиом {а} (траектория X отличима от траектории Y в аксиомах из множества {а}), если
Vr G {0,..., 1еп(Х) - 1еп(У)} 3t G {1,..., 1еп(У)} :
{а € {а} : а(г + t, X) = true} {а} : a(t, Y) = true}.
Введенное понятие различимости траекторий в аксиомах из заданного множества является обобщением понятия различимости траекторий в ЭУ из заданного множества [1].
Будем говорить, что алгоритм распознавания А1 решает задачу распознавания нештатного поведения для заданной траектории X с наперед заданной точностью, если при распознавании участков нештатного поведения в траектории X при помощи алгоритма А1 выполняются ограничения на число ошибок распознавания 1-го и 2-го рода, заданные в задаче распознавания нештатного поведения. Сформулируем утверждение, которое нам понадобится для доказательства необходимого условия обучаемости параметрического семейства S\.
Теорема 1. Для того чтобы существовал алгоритм распознавания, решающий с наперед заданной точностью задачу распознавания нештатного поведения для произвольной наблюдаемой траектории X, необходимо выполнение следующих условий:
1) траектории нештатного поведения, которые могут присутствовать в наблюдаемой многомерной траектории X, соответствующие различным классам нештатного поведения, не должны содержать друг друга в качестве части;
2) траектории нештатного поведения, которые могут присутствовать в наблюдаемой траектории X, не должны входить в качестве части в траектории нормального поведения.
Доказательство этой теоремы приведено в работе [1].
Сформулируем необходимое условие обучаемости параметрического семейства Si.
Теорема 2 (необходимое условие обучаемости параметрического семейства Si). Пусть задано множество аксиом А' = {а!ъ а2, ■ ■ ■, а'т>}- Пусть имеется алгоритм распознавания А1 = = (As, {Janom}iLn ^search) € Si, в котором каждая аксиома а € As является булевой функцией от аксиом из множества А':
As = {й1, • • • , Ото}, йг = /*(»!, а21 ■ ■ ■ 1 0>гп')' 1 ^ ^ ^
Для того чтобы алгоритм А1 решал с наперед заданной точностью задачу распознавания нештатного поведения для произвольной траектории, необходимо выполнение двух условий:
1) траектории нештатного поведения, соответствующие различным классам нештатного поведения, которые могут присутствовать в наблюдаемой многомерной траектории X, должны быть различимыми в аксиомах из множества А';
2) траектории нештатного поведения, которые могут присутствовать в наблюдаемой многомерной траектории X, должны быть отличимы от участков нормального поведения из X в аксиомах из множества А'.
Доказательство. Пусть алгоритм А1 решает задачу распознавания нештатного поведения с наперед заданной точностью. Докажем выполнение условий 1 и 2 от противного.
Предположим, что не выполняется условие 1. Это означает, что существуют две траектории нештатного поведения различных классов, не различимые в аксиомах из множества А'. Обозначим эти траектории Хга1ют и Х3ахют. Будем для определенности считать, что len(Xanom) ^ len(X|nom). По определению различимости
3r е {0,..., len(Xanom) - len(X?nom)} : W G {1,..., len(X?nom)}
{a! € A' : a'(r + t, X*nom) = true} = {a! € A' : a'(t, Xlnom) = true}.
Это означает, что любое выражение над аксиомами из множества А' будет принимать одно и то же значение на отсчете г + t траектории I®lom и на отсчете t траектории X^nom. Аксиомы а € As по условию теоремы являются булевыми функциями над аксиомами а' € А'. Следовательно, в As не существует аксиомы, которая бы выполнялась на некотором отсчете одной траектории и не выполнялась на соответствующем отсчете другой траектории. Таким образом, разметка J:> траектории -^anom системой аксиом As будет входить в разметку J% траектории Хгааот системой аксиом As:
Р € J\ (2)
Алгоритм распознавания Asearch использует разметку наблюдаемой фазовой траектории и разметки эталонных траекторий для определения вхождения участков нештатного поведения в наблюдаемой траектории. Условие (2) означает, что для Asearch нарушается условие 1 теоремы 1, согласно которому разметки траекторий* различных классов нештатного поведения не должны входить друг в друга в качестве части. Таким образом, для любого алгоритма поиска разметок -Asearch найдется такая траектория X, что при поиске разметок эталонных траекторий нештатного поведения в разметке траектории X ограничение на число ошибок распознавания не будет выполнено. Это означает, что данное ограничение не будет выполнено и для всего алгоритма распознавания Al = (As, {^потЖ^search)-Однако мы исходили из предположения, что алгоритм А1 решает задачу распознавания нештатного поведения с наперед заданной точностью. Мы пришли к противоречию, доказывающему, что условие 1 данной теоремы выполняется.
Условие 2 доказывается аналогично. Предполагая, что условие 2 не выполняется, путем аналогичных рассуждений приходим к выводу о том, что разметка траектории нештатного поведения ,Р входит в качестве части в разметку траектории нормального поведения Jnorm! что в силу условия 2 теоремы 1 противоречит предположению о том, что ограничение на число ошибок распознавания для алгоритма А1 выполняется.
Теорема полностью доказана.
Доказанная теорема является обобщением необходимого условия обучаемости алгоритма распознавания из [1].
Следствие 1. Пусть задан алгоритм распознавания Al € S\:
Al = (As, {Janom};=1, Asearch).
Для того чтобы алгоритм Al решал с наперед заданной точностью задачу распознавания нештатного поведения для произвольной траектории, необходимо выполнение двух условий:
1) траектории нештатного поведения, соответствующие различным классам нештатного поведения, которые могут присутствовать в наблюдаемой многомерной траектории X, должны быть различимыми в аксиомах из системы аксиом As;
2) траектории нештатного поведения, которые могут присутствовать в наблюдаемой многомерной траектории X, должны быть отличимы от участков нормального поведения из X в аксиомах из системы аксиом As.
Данное утверждение напрямую вытекает из теоремы 2, если в качестве А' в условиях теоремы 2 подставить саму систему аксиом As.
3.2. Алгоритм построения системы аксиом. Для построения системы аксиом, используемой при распознавании нештатного поведения в рамках параметрического семейства Si, был разработан
*Теорема 1 рассматривается не для самих траекторий нештатного поведения, а для их разметок, так как в алгоритмах из семейства Si именно разметки используются для определения вхождения участков нештатного поведения в наблюдаемую траекторию.
генетический алгоритм построения системы аксиом [10]. Этот алгоритм строит систему аксиом по набору прецедентов нормального и нештатного поведения системы.
Особью в данном алгоритме является упорядоченное конечное множество аксиом ав = = {а[, а2,..., а'т}. Заметим, что для множества ав в общем случае не выполняется условие (1) из определения системы аксиом, т.е. на некоторых отсчетах некоторых траекторий может не выполняться ни одной аксиомы из ав или может выполняться несколько аксиом из ав.
Значение целевой функции в данном алгоритме зависит от числа ошибок первого и второго рода на траекториях набора прецедентов. Для вычисления числа ошибок необходимо сформировать алгоритм распознавания (А«, {«/¿пот}г^:ц Лзеагсь), а для этого, в частности, нужно построить систему аксиом. Система аксиом А.з = {а\,..., ат, ат+1} строится по множеству аксиом ав по следующим формулам:
_ I
а 1 — о-^,
а,2 = а'2 А ^а'1,
о3 = а3 А ->а'2 А
(3)
0'[ц — Оуд /\ 'Оуд_/\ . . . /\ 1(22 ^ ч
О'гп+1 = ^«т ^ "1ат-1 А ... А А Х'
В соответствии с формулами (3) аксиома щ € Ая, 1 ^ г ^ т, выполняется в точке £ траектории X тогда и только тогда, когда аксиома а,\ € а,.з выполняется в этой точке и никакие аксиомы а^ € ав, ] < г, не выполняются в этой точке. Поэтому такое преобразование называется введением приоритета на множестве аксиом [1]. Для построенного таким способом множества А.з гарантированно выполняется определение системы аксиом.
Приведем пример, когда для построенного при помощи данного алгоритма распознавателя (А«, Лзеагсь) и множества аксиом а,.з выполняется условие теоремы 2, но при этом не выпол-
няются условия следствия из теоремы 2. Пусть множество а,.з состоит из двух аксиом: а,.з = {а!ъа!2}. Пусть на всех отсчетах траекторий нештатного поведения выполняется аксиома а'1; а на всех отсчетах траекторий нормального поведения — аксиомы а[ ж а'2. В этом случае траектории нормального и нештатного поведения будут различимыми в аксиомах из множества ав. После применения преобразования (3) система аксиом А.з будет иметь вид
{а\ = а[, а2 = а2 А аз = А ^а2 А ^аз).
Из вида аксиом системы аксиом А.з следует, что в данном случае как траектории нормального поведения, так и траектории нештатного поведения будут размечены аксиомой а,\. Это означает, что различимость траекторий в аксиомах из системы аксиом А.з не имеет места, и в силу следствия из теоремы 2 на основе системы аксиом А.з невозможно построить алгоритм распознавания, совершающий ограниченное число ошибок на произвольной траектории X.
Рассмотренный пример показывает, что при преобразовании произвольного множества аксиом в систему аксиом при неудачном выборе порядка на множестве аксиом может потеряться различимость траекторий и возможность построения алгоритма распознавания, делающего ограниченное число ошибок.
4. Параметрическое семейство алгоритмов распознавания, использующих разметку траекторий подмножествами множества аксиом. Разметкой траектории X = (жГ, х^,..., Щ)
подмножествами множества аксиом ав назовем конечную последовательность подмножеств ав, которая имеет длину, равную длине траектории X и в которой каждое подмножество является множеством аксиом из ав, выполняющихся в соответствующей точке траектории X:
= (л,.72, • • • ,3к), Зг = {а е аз : а(г, X) = й-ие).
В статье [11] предложено параметрическое семейство алгоритмов распознавания, которое основано на аксиоматическом подходе к распознаванию нештатного поведения [1] и в котором используются разметки подмножествами множества аксиом. Обозначим это параметрическое семейство через Б2.
На вход алгоритму распознавания Al € ¿»2 подается наблюдаемая траектория X, множество аксиом as и разметки эталонных траекторий { Ji}f=l подмножествами множества аксиом as. Для распознавания нештатного поведения алгоритмом А1 выполняются следующие действия:
1) строится разметка наблюдаемой траектории J подмножествами множества аксиом as;
2) проводится нечеткий поиск разметок эталонных траекторий в разметке наблюдаемой траектории. Обнаруженные вхождения разметок эталонных траекторий считаются участками нештатного поведения.
Таким образом, алгоритм Al € S2 задается множеством аксиом as, набором разметок эталонных траекторий {</in0m}^=i и алгоритмом поиска разметок -A*earch.
Структура элементов разметки в алгоритмах из семейств Si и S2 различается: в алгоритмах из Si элементом разметки является аксиома, в алгоритмах из S2 — множество аксиом. В работе [11] для поиска разметок подмножествами предложен алгоритм нечеткого поиска разметок, основанный на DTW [7] и учитывающий структуру элементов разметки подмножествами за счет использования метрик для элементов разметки.
При обучении алгоритма Al € S2 основную сложность представляет построение множества аксиом as.
4.1. Алгоритм построения множества аксиом для предлагаемого параметрического семейства. В работе [11] предложен генетический алгоритм построения множества аксиом для параметрического семейства ¿>2- Этот алгоритм является модификацией алгоритма построения системы аксиом для семейства Si, описанного в п. 3.2. Основное отличие алгоритма построения множества аксиом для S2 состоит в том, что особью в нем является неупорядоченное множество аксиом. Это означает, что при одинаковом ограничении на размер множества аксиом пространство поиска в данном алгоритме меньше, чем в алгоритме построения системы аксиом для Si, так как не нужно перебирать разные варианты задания порядка на множестве аксиом. Кроме этого в данном алгоритме отсутствует шаг преобразования множества аксиом в систему аксиом.
Численное исследование на модельных данных, проведенное в работе [11], показало уменьшение количества ошибок 1-го рода до 18 раз (при неизменном количестве ошибок 2-го рода) и уменьшение времени обучения до 8 раз при использовании параметрического семейства S2 по сравнению с семейством Si.
5. Заключение. В настоящей статье описаны два параметрических семейства алгоритмов распознавания нештатного поведения динамических систем, основанных на аксиоматическом подходе к распознаванию нештатного поведения.
В алгоритмах распознавания из первого семейства разметки фазовых траекторий динамической системы являются последовательностями аксиом, для разметки используется система аксиом — множество аксиом, на которое налагается ограничение однозначности и полноты. В алгоритме построения системы аксиом, используемом для этого параметрического семейства, вначале строится множество аксиом. Затем это множество преобразуется так, чтобы гарантировать выполнение условия однозначности и полноты. В работе доказано необходимое условие обучаемости первого параметрического семейства и показано, что в результате используемого преобразования множества аксиом в систему аксиом может потеряться различимость траекторий и необходимое условие обучаемости может перестать выполняться.
В алгоритмах распознавания из второго семейства разметки траекторий динамической системы представляют собой последовательности подмножеств некоторого множества аксиом. На это множество аксиом не налагается ограничение однозначности и полноты. Это позволяет при обучении алгоритма распознавания избавиться от шага преобразования множества аксиом в систему аксиом, из-за которого может потеряться различимость траекторий и перестать выполняться необходимое условие обучаемости.
В работе [11] приведены результаты численного сравнения описанных параметрических семейств, показывающие, что использование второго параметрического семейства позволяет улучшить качество распознавания и уменьшить время обучения алгоритма распознавания.
СПИСОК ЛИТЕРАТУРЫ
1. Коваленко Д. С. Методы и программные средства обучения алгоритмов распознавания участков фазовых траекторий: Дисс. ... канд. физ.-мат. наук. М., 2011.
2. Kostenko V. A., Shcherbinin V. V. Training methods and algorithms for recognition of nonlinearly distorted phase trajectories of dynamic systems // Optical Memory and Neural Networks (Information Optics). 2013. 22. N 1. P. 8-20.
3. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002.
4. Айвазян С. А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. М.: Финансы и статистика, 1989.
5. Воробьев В. И., Грибунин В. Г. Теория и практика вейвлет-преобразования. СПб.: Типография ВУС, 1999.
6. Голяндина Н.Э., Некруткин В.В., Степанов Д. В. Варианты метода««Гусеницаээ-SSA для анализа многомерных временных рядов // Труды II Междунар. конф. "Идентификация систем и задачи управления" SICPRO'03. М.: ИПУ РАН, 2003. С. 2139-2168.
7. МCiller М. Information Retrieval for Music and Motion. N. Y.: Springer-Verlag, 2007.
8. Коваленко Д.С., Костенко В. А., Васин E. А. Исследование применимости алгебраического подхода к анализу временных рядов // Методы и средства обработки информации. М.: Изд. отдел ф-та ВМиК МГУ, 2005. С. 553-559.
9. Рудаков К. В., Чехович Ю.В. О проблеме синтеза обучающих алгоритмов выделения трендов (алгебраический подход) // Прикладная математика и информатика. № 8. М.: Изд. отдел ф-та ВМиК МГУ, 2001. С. 97-114.
10. Kovalenko D.S., Kostenko V. A., Vasin Е. A. A genetic algorithm for construction of recognizers of anomalies in behaviour of dynamical systems // Proc. of the IEEE Fifth Intern. Conf. on Bio-Inspired Computing: Theories and Applications. Changsha, China: IEEE Press, 2010. P. 258-263.
11. Shcherbinin V.V., Kostenko V. A. A modification of training and recognition algorithms for recognition of abnormal behavior of dynamic systems // Proc. of the 5th Intern. Joint Conf. on Computational Intelligence. Vilamoura, Portugal: SciTePress, 2013. P. 103-110.
Поступила в редакцию 26.05.14
COMPARISON OF FAMILIES OF ALGORITHMS FOR RECOGNITION OF ABNORMAL BEHAVIOR OF DYNAMIC SYSTEMS
Shcherbinin V. V.
We consider the problem of recognition of abnormal behavior segments in multidimensional phase trajectories of dynamic systems. We tackle this problem using axiomatic approach to abnormal behavior recognition. We consider two parametric families of algorithms based on this approach. A necessary condition for an algorithm from the first family to make limited number of errors on an arbitrary trajectory is proved. We show that this condition may stop holding during training of the algorithm, which can not occur if we use recognition algorithms from the second family. We cite the results of numerical experiments which demonstrate recognition quality improvement and training time decrease for the algorithms from the second family compared to the algorithms from the first family.
Keywords: the problem of supervised learning, parametric family of algorithms, recognition algorithms, multidimensional phase trajectory, training set.
