Операции мутации и скрещивания для генетического алгоритма построения систем аксиом Текст научной статьи по специальности «Математика»

Окончательно получаем

при п ^ 11, что и требовалось доказать.

Автор выражает благодарность профессору С. А. Ложкину за внимание к работе.

СПИСОК ЛИТЕРАТУРЫ

1. Глазунов Н.И., Горяшко А. П. Об оценках длин обнаруживающих тестов для классов неконстантных неисправностей входов комбинационных схем // Изв. АН СССР. Сер. "Техническая кибернетика". 1986. № 3. С. 197-200.

2. Носков В.Н. Об универсальных тестах для диагностики одного класса неисправностей комбинационных схем // Методы дискретного анализа в решении экстремальных задач. Новосибирск: СО АН СССР, 1979. № 33. С. 41-53.

3. Нурмеев H.H. Об универсальных диагностических тестах для одного класса неисправностей комбинационных схем // Вероятностные методы и кибернетика. Вып. 18. Казань: Изд-во КазГУ, 1982. С. 73-76.

Поступила в редакцию 01.11.06

УДК 681.3

Е. А. Васин

ОПЕРАЦИИ МУТАЦИИ И СКРЕЩИВАНИЯ ДЛЯ ГЕНЕТИЧЕСКОГО АЛГОРИТМА ПОСТРОЕНИЯ СИСТЕМ АКСИОМ

(кафедра автоматизации систем вычислительных комплексов факультета ВМиК,

e-mail: vasinea@cs.msu.su)

1. Введение. В работе решается задача автоматической настройки распознавателей аномалий в поведении динамических систем по заданной обучающей выборке, содержащей образцы нормального и аномального поведения конкретной системы. Предложен способ описания аномалий, основанный на идеях алгебраического подхода.

Рассмотрим динамическую систему, информация о поведении которой поступает от набора датчиков. Все датчики работают в дискретном времени, частоты и фазы у всех датчиков совпадают, т.е. в каждый момент времени tj = to + At снимается набор показаний всех датчиков X(tj) = (xi(tj),x2(tj),...,xm(tj)). Поведение системы на временном отрезке [to,to + AT] представляется в виде то-мерного временного ряда показаний датчиков Xtr = (X(to), X(t\),..., X(tx))■ В процессе функционирования системы в ее поведении могут наблюдаться аномалии, причем существует конечное число К классов таких аномалий. Пусть множество траекторий, содержащих аномалии, не пересекается с множеством траекторий, не содержащих аномалии. Также пусть множества траекторий, содержащие аномалии разных классов, не пересекаются друг с другом.

Решение задачи распознавания аномалий в поведении системы будет означать поиск и классификацию содержащих аномалии участков предъявленного для распознавания временного ряда Xtr. Сформулируем задачу автоматического построения распознавателя для конкретной динамической системы (подробнее задача описана в [1]).

Дано:

1) множество датчиков 1,..., М;

2) множество классов аномалий 1 ,...,К] для каждого ¿-го класса дан временной ряд длины Т{, соответствующий траектории, содержащей аномалию данного класса: Х\г = (Х[,..., Х?р)■ Этот ряд будем называть эталонным. Для каждого эталонного ряда, возможно, дано ограниченное множество функций1 искажений {i^}. Это множество описывает искажения (возможно, не все, возможно, не вполне точно) или границы искажений, которым, по мнению эксперта, могут подвергаться эталонные траектории;

3) обучающая выборка, состоящая из набора временных рядов {Xtest}, на которых явно выделены участки, где наблюдаются аномалии в поведении системы;

4) целевая функция H(u,v), где и — количество ошибок первого рода, an — количество ошибок второго рода.

Требуется построить алгоритм, распознающий все эталонные траектории и помимо этого удовлетворяющий следующим требованиям:

1) если заданы функции искажений для ¿-го класса аномалий, то эталонная траектория Х\г, искаженная указанными функциями в указанных границах, должна распознаваться как траектория, содержащая аномалии;

2) если задана обучающая выборка, то распознаватель должен обеспечивать минимум целевой функции H(p,q) на рядах из обучающей выборки.

2. Алгоритм распознавания, основанный на разметке ряда аксиомами. Для решения задачи распознавания использовался алгоритм, основанный на идее применения алгебраического подхода к разметке плоских конфигураций, предложенной в [2]. Ряд размечается так называемыми аксиомами — условиями, накладываемыми на одну или несколько точек ряда. Точка ряда размечается какой-то аксиомой, если все условия этой аксиомы выполняются в этой точке ряда. Совокупность всех аксиом, используемых для разметки ряда, называется системой аксиом. Разметкой временного ряда Xtr будем называть последовательность аксиом Axtr = {Ах1,..., Ах") такую, что аксиома Ах3 размечает точку Xj.

Общая схема работы алгоритма включает в себя два этапа — этап обучения и этап распознавания. На этапе обучения выбирается некоторая система аксиом As, с помощью которой размечаются эталонные временные ряды. При этом получаются эталонные последовательности аксиом. На этапе распознавания предъявленный ряд Xtr размечается выбранной ранее системой аксиом, при этом получается последовательность аксиом Axtr. Затем на этой последовательности происходит поиск подпоследовательностей аксиом, близких к эталонным (в данной работе для определения близости использовались регулярные выражения, построенные по эталонным последовательностям аксиом). Подробнее алгоритм описан в [3].

Ключевым вопросом алгоритма является вопрос выбора системы аксиом, так как при использовании разных систем аксиом полнота, точность и скорость работы распознавателя могут существенно отличаться.

3. Структура систем аксиом. Элементарные условия. Элементарное условие (ЭУ) — это некоторая функция от трех параметров EC(Xtr, к, А) с областью значений {0,1}, где Xtr — временной ряд, к — номер размечаемой точки ряда, а А — некоторое, возможно, пустое множество параметров, специфичных для данного ЭУ. Точка к ряда Xtr размечается элементарным условием ЕС с параметрами {А}, если EC(Xtr, к, {А}) = 1. Разметкой ряда Xtr элементарным условием ЕС с параметрами {А} будем называть ряд ECtr = EC(Xtr, {А}) : ECtrk = EC(Xtr, к, {А}). Два разных ЭУ будем называть структурно-идентичными, если они отличаются только параметрами. Определим три важных свойства ЭУ.

1. Устойчивость к заданным множествам функций искажений. Пусть существуют две траектории: Х]г и X^r = F(Xlr) ф Х]г. Будем называть ЭУ ЕС\ абсолютно устойчивым к искажению F, если \/Xtr : EC(Xtr, {А}) = EC(F(Xtr), {А}). Будем называть ЭУ ECi относительно устойчивым к искажению F ряда Xtr, если для конкретного ряда Xtr, EC(Xtr, {А}) = EC(F(Xtr), {А}).

2. Совместимость с другими элементарными условиями по логическим операциям "И" и "ИЛИ". Два элементарных условия ЕСi с параметрами {А} и ЕС2 с параметрами {В} называются несовместимыми по логической связке Л (V), если \/Xtr,k : EC\{Xtr, к, {А}) Л EC2(Xtr, к, {В}) = const (EC^Xtr, к, {А}) V EC2(Xtr, к, {Б}) = const).

1Для простоты ограничимся случаем таблично заданных функций.

3. Частичный порядок на множестве элементарных условий. Элементарное условие ЕС\ с параметрами {А} предшествует ЭУ ЕС2 с параметрами {.В}, если

УХгг,к: ЕС2(Хгг,к,{А}) => ЕС!(Хгг,к,{В}).

Аксиомы. Аксиома — выражение следующего вида:

Ах{ХЬг,к,{А1,...,Ап}) = ЕС^Х^ктА,) VI ЕС2 [ХЬг, к, А2) ... у„-1 ЕСп{ХЬг,к, Ап),

где \7г £ {Л, V}. В аксиому могут включаться только попарно совместимые друг с другом условия2. Точка к ряда X(г размечается аксиомой Ах с параметрами {А1,..., Ап}, если

Ах{ХЬг,к,{А1,...,Ап}) = 1.

Две разные аксиомы будем называть структурно-идентичными, если тождественными преобразованиями их можно привести к виду, когда они будут отличаться только параметрами входящих в них элементарных условий.

Понятия абсолютной и относительной устойчивости аксиом к искажениям аналогичны соответствующим понятиям для ЭУ. Определим частичный порядок на множестве ЭУ: аксиома Ах\ с параметрами {А1,.. ■, Ап} предшествует аксиоме Ах2 с параметрами {В\,.. ,,Вт}, если

УХгг,к : Ах2{ХЬг,к,{А1,...,Ат}) => Ахг (ХЬг, к, {Въ ..., Вт}).

Системы аксиом. Система аксиом — упорядоченный набор аксиом

Аз({А1},...,{А1}) = {Ах\ ({А1}),..., Аж;({А;}), Ах0 = 1).

Опишем разметку точки ряда системой аксиом Аз. Точка X^к размечается аксиомой Axi, если к, = 1 тМ] < I к, = 0. Разметкой ряда X(г системой аксиом Ав({А1},...

... , {А;}) будем называть последовательность аксиом Ав^ такую, что точка Х^к размечается аксиомой Ав^к согласно описанной процедуре. В рамках системы аксиом должно выполняться следующее правило: если Ахг(-, ■, {Аг}) -< Ах3{-, ■, {А3}), то г < ].

Если две системы аксиом состоят из структурно-идентичных аксиом, будем называть их структурно-эквивалентными. Если при этом также совпадают приоритеты структурно-идентичных аксиом, будем называть такие системы структурно-идентичными. Понятия абсолютной и относительной устойчивости систем аксиом к искажениям аналогичны соответствующим понятиям для аксиом.

4. Возможности предложенной схемы. Если использовать аксиомы и системы аксиом с произвольными элементарными условиями, можно решить любую задачу создания распознавателя с конечным множеством функций искажений. Действительно, пусть задано К классов аномалий, соответствующие им эталонные траектории Х\г и конечное число функций искажений для каждой траектории {Е-}. В этом случае создадим систему из К аксиом А3 = (Ах \ = ЕС\,..., Ах к = ЕСц, Ах о). При этом пусть ЭУ ЕС{ размечает точку Х{ тогда и только тогда, когда Зр?: (Х-_ ¡ ,... = Е- (Х1Г)

для какой-то Е- из множества {Е-}. Такая система аксиом будет размечать номером ¿ точку, в которой заканчивается аномалия ¿-го класса. Все остальные точки будут размечены нулями.

Перепишем эту систему аксиом с использованием интервального элементарного условия:

ЕС\ (Хгг, к, {а, Ь}) = 1 <=> а <: Хк ^ Ь.

Аксиома Axi будет состоять из q элементарных конъюнкций, где д — количество заданных функций искажений для ¿-го эталонного образа, соединенных операцией дизъюнкции. Каждая элементарная конъюнкция состоит из р^ элементарных условий: ЕС^Х^-, к—р\,{а ,, а ]}) А. • ЛЕС\ (Х^г, к, {а^, а^}).

Р г Р г

Параметры а^ определяются значениями ряда Е- (Х1Г) в точке к — к. Построенная таким образом система аксиом будет обладать ровно теми же свойствами, что и неформально описанная система аксиом из предыдущего абзаца.

Расширим рассматриваемый класс задач. Пусть теперь заданные функции искажений определяют не все множество траекторий, содержащих аномалии, а только его границы. Например, если

2Соблюдение этого условия не влияет на точность и полноту итогового распознавателя. Свойство совместимости

используется только для оптимизации аксиом и снижения вычислительной сложности алгоритма.

заданы две функции -Р1/(ж) = х — 1 и -^¿2(ж) = х + 1, будем считать, что все траектории, точки которых отклоняются от Х\г в пределах [—1,1], содержат аномалии. В этом случае можно аналогичным образом создать аксиомы, в элементарных конъюнкциях которых будут участвовать интервальные условия с верхней и нижней границами, определяемыми функциями искажений. Таким образом, разработанное представление систем аксиом и основанные на нем распознаватели смогут распознавать любые аномалии, если множество траекторий, им соответствующих, имеет конечное число границ и все они полностью описаны в постановке задачи с помощью таблично заданных функций искажений. Это и есть формальное ограничение применимости предложенной схемы описания систем аксиом и основанного на ней алгоритма распознавания.

5. Генетический алгоритм построения системы аксиом. Для решения задачи выбора подходящей системы аксиом был использован генетический алгоритм (ГА). Особь представляла собой корректную систему аксиом.

Была выбрана стандартная схема генетического алгоритма, состоящая из двух стадий. На первой происходит создание начальной популяции. На второй происходит итеративная оптимизация начальной популяции. Вторая стадия в свою очередь разбивается на четыре шага: мутацию, скрещивание, проверку выполнимости критерия останова и селекцию.

При разработке генетического алгоритма встали следующие вопросы: как сформировать аксиомы и системы аксиом для начальной популяции, как ввести операцию мутации систем аксиом и отдельных аксиом и как ввести операцию скрещивания двух систем аксиом?

Создание начальной популяции. Разработаны три способа создания начальной популяции: экспертный, автоматический и комбинированный. В первом случае эксперт сам на основе имеющихся у него данных о системе определяет структуру аксиом и систем аксиом, при этом ГА используется для подбора параметров элементарных условий. Во втором случае, если эксперт не владеет никакими или почти никакими данными о системе, начальная популяция создается случайным образом с использованием фиксированного банка элементарных условий. Наконец, при использовании комбинированного подхода часть аксиом и систем аксиом создается экспертом, а часть — автоматически.

Операции мутации и скрещивания. Операции мутации и скрещивания вводятся на трех уровнях: отдельных элементарных условий, отдельных аксиом и систем аксиом.

1. Уровень элементарных условий.

Мутация. Операция мутации на уровне элементарных условий предполагает изменение параметров одного или нескольких элементарных условий, входящих в аксиомы из мутирующей системы аксиом.

Для простоты изложения предположим, что каждое элементарное условие зависит только от одного параметра. Пусть Ай({А1},..., {А;}) = (Аж1({А1}),..., Аж/({А/}), Ах о = 1) — система аксиом, подвергающаяся мутации, {А.,} = (а^,..., а3п.). Введем два параметра: 0 ^ ре ^ 1 — вероятность мутации элементарного условия и 0 ^ IVе ^ 1 — степень мутации параметров элементарного условия. Построим новую систему аксиом Аз' = Ав({А'1},..., {А{}) = (Аж1({А'1|),..., Аж/({АЛ), Ах о = 1). Пусть дЕС1 (а1-, гие) — функция мутации, специфичная для ^'-го элементарного условия. Тогда для каждой ]-т аксиомы набор ее параметров меняется по следующему правилу:

Скрещивание. Операция скрещивания на уровне элементарных условий предполагает получение из двух структурно-эквивалентных систем аксиом Аз и Аз' новой структурно-эквивалентной им системы аксиом Аз".

Пусть Ав({А1},..., {А;}) = (Ах \ ({А1}),..., Аж;({А;}), Ах о = 1). Преобразуем систему Аз' к виду, структурно-идентичному системе Аз\ Ав'({А[},..., {А[}) = (Ах\({А^}),..., Аж;({АЛ), Ажо = 1). Построим новую систему аксиом Аз" = Аз({А"},..., {А"}) = (Аж1({А'/}),..., Аж/({А"}), Ажо = 1), где а*- = 1гЕС' (а®-, а*-), где 1гЕС' (а®-, IVе) — это функция скрещивания, специфичная для данного элементарного условия.

2. Уровень отдельных аксиом.

Мутация. Операция мутации на уровне отдельных аксиом предполагает добавление нового элементарного условия в одну из аксиом, удаление существующего элементарного условия, замену элементарного условия на другое или замену связки, соединяющей элементарные условия.

а1- с вероятностью 1 — ре, дЕС1 (а1-, IVе) с вероятностью ре.

ЕС,

Для простоты изложения предположим, что все элементарные условия не зависят от параметров. Пусть Ай(0) = (Аж1(0),..., Аж;(0), Ажо = 1) — система аксиом, подвергающаяся мутации, Ахг = ЕС\ у! • • • \7п,-1 ЕСгп . Существует четыре варианта единичных операций мутации на уровне отдельных аксиом:

1) исключение ЭУ: Ах'г = ЕС[ у* • • • V*-! ЕС'к+1 VЪ+1 ■ ■ • ЕСгщ-

2) добавление ЭУ: Ах> = ЕС[ у' ... у^ ЕС^ЕС* VI ■■ ■ ЕС^,

3) замена одного ЭУ на другое: Ах[ = ЕС\ V! • • • Х7к-1 ЕС* \/к ■ ■ ■ Уп,--1 ЕСгп.;

4) замена одной логической связки на другую: Ах\ = ЕС\ V! • • • \7fc-i ЕСгк\/к • • • V«,-1 ЕСгп..

Скрещивание. Операция мутации на уровне отдельных аксиом предполагает создание новой аксиомы, содержащей смесь элементарных условий из двух исходных.

Пусть А?(0) = (Ах1 (0),..., Ах1 (0), Ах0 = 1) и А?'(0) = (Ах[ (0),..., Ах\, (0), Ах0 = 1) — системы аксиом, подвергающиеся скрещиванию. Пусть для скрещивания была выбрана пара аксиом Axi = ЕС{ VI ••• V«,-1 ЕС"п. и Ах\ = ЕС{ V! ••• \7п,-1 ЕС"п,. Тогда новая аксиома будет иметь

следующий вид: Ах'{ = ЕС\ ... ЕСЦ',,, где ЕС)!, = ЕС) или ЕС)!, = ЕС),.

Исследования показали, что полностью случайный выбор элементарных условий для новой аксиомы делает эту операцию слишком дестабилизирующей, так что обычно используется более мягкая операция. На первом шаге этой операции случайным образом выбираются пары близких друг к другу аксиом, критерием близости при этом служит количество общих элементарных условий; вероятность выбора пары пропорциональна степени близости составляющих ее аксиом. На втором шаге операции создается формула, основанная Ах, некоторые ЭУ которой заменены на ЭУ Ах'. Степень мутации (количество таких замен) определяется параметром 0 ^ та ^ 1.

3. Уровень систем аксиом.

Мутация. Операция мутации на уровне систем аксиом предполагает добавление новой аксиомы в систему, удаление аксиомы из системы или изменение приоритетов двух несравнимых аксиом в рамках системы. Пусть Ав(0) = (Ах\(0),..., Аж;(0), Ах^ = 1) — система аксиом, подвергающаяся мутации. Существует три варианта операции мутации системы аксиом:

1) добавление новой аксиомы: Ав'(0) = (Ах\(0),..., АжД0), Аж(0), (0),..., Аж;(0), Ах^ = 1). При этом новая аксиома может генерироваться случайным образом, выбираться из банка аксиом или выбираться из существующей популяции. Выбор аксиом может происходить по рулетке с секторами, пропорциональными концентрации составляющих аксиому ЭУ в популяции;

2) удаление существующей аксиомы:

АЙ'(0) = (Аж1(0),...,АЖг_1(0),АЖг+1(0),...,АЖ;(0),АЖо = 1).

Существует три варианта выбора аксиомы для удаления. В первом случае удаляется случайная аксиома, во втором случае выбор аксиомы осуществляется согласно описанной выше схеме рулетки, в третьем случае удаляется наименее используемая при разметке тестовых рядов аксиома;

3) изменение приоритета двух несравнимых аксиом:

Аз'(Щ = (АЖ1(0),..., Аж,_1(0), Ахг, Аж,+1(0),..., Ахг_г (0), Ах3, Ахг+1(Щ,..., Аж;(0), Ах0 = 1),

А. х ^ ^ А. х ^ ^ А. х ^ ^ А. х ^.

Выбор аксиом происходит случайным образом.

Скрещивание. Операция мутации на уровне систем аксиом предполагает создание новой системы, содержащей смесь аксиом из двух исходных.

Пусть А?(0) = (Ах1 (0),..., Ах1 (0), Ах0 = 1) и А?'(0) = (Ах[ (0),..., Ах\, (0), Ах0 = 1) — системы аксиом, подвергающиеся скрещиванию. Тогда новая система будет иметь следующий вид: Ав" (0) = (Ах'( (0),..., Ах'/,, (0), Ах0 = 1), где Ах'г'„ = Ах'г, или Ах'г'„ = Ахг.

Полностью случайное скрещивание порождает системы аксиом, очень сильно отличающиеся по свойствам от исходных, так что обычно используется более мягкая операция скрещивания, аналогичная операции для уровня аксиом.

Соотношение операций скрещивания и мутации разных типов, количество скрещивающихся и мутирующих особей и выбор особей для операций ГА определяются стратегией мутации и стратегией скрещивания. После каждой генетической операции к результирующей системе аксиом применяется

набор корректирующих операций, гарантирующих выполнение условий из пункта 2. Операция селекции является в данном случае менее специфичной, чем операции мутации и скрещивания. Наиболее перспективной оказалась операция селекции, схожая с описанной в [4].

6. Результаты применения алгоритмов. Разработанные алгоритмы были протестированы на реальных и модельных данных. Генератор модельного ряда для имитации аномалий использовал комбинации элементарных образов четырех типов, которые подвергались искажениям по длине и по амплитуде, на которые был наложен высокочастотный шум. При работе с реальными данными решалась задача прогноза микросна по данным электроэнцефалограммы (ЭЭГ), представлявшим собой 4-мерные ряды с частотой дискретизации 100 Гц. При применении разработанных алгоритмов к этим исходным данным были получены следующие основные результаты.

1. При использовании систем аксиом фиксированной структуры на модельных рядах генетический алгоритм обеспечивал при подборе параметров аксиом в среднем ускорение в 25 раз по сравнению с полным перебором по сетке при ухудшении целевой функции не более чем на 4%.

2. При решении задачи подбора оптимальной системы аксиом на модельных рядах алгоритм позволял получать системы аксиом оптимальной структуры.

3. При решении задачи создания распознавателя микроснов были получены следующие результаты. На контрольной выборке по 6 людям, состоящей из 136 712 отсчетов и содержащей 83 аномалии, при целевой функции H(u,v) = 100и + v (т.е. когда ошибки первого рода были в сто раз хуже, чем ошибки второго рода) количество ошибок первого рода было 13,2%, а второго — 4,2%. При этом для полной адаптации системы аксиом, настроенной на особенности одного человека, к особенностям другого человека требуется 40-70 итераций ГА, и уже после 15-25 итераций скорость изменения целевой функция резко падает. Это косвенно указывает на высокую общность задач распознавания микроснов для разных людей и позволяет надеяться, что алгоритм будет успешно работать и на большей выборке. На самой медленной тестовой системе на базе процессора Intel Pentium 3/800 скорость распознавания составляла в среднем около 14 000 отсчетов в секунду, т.е. была достаточно высокой для использования во встроенных системах реального времени.

7. Заключение. Для решения поставленной задачи автоматического построения распознавателей аномалий в поведении конкретных динамических систем были использованы универсальный распознаватель, основанный на алгебраическом подходе, и генетический алгоритм, осуществляющий настройку распознавателя под особенности конкретной динамической системы. Предложенный алгоритм получения специализированных распознавателей был опробован на модельных и реальных задачах. При этом были получены специализированные распознаватели с высокой устойчивостью к искажениям по длине и по амплитуде и низкой вычислительной сложностью, пригодные для использования в системах реального времени.

СПИСОК ЛИТЕРАТУРЫ

1. Васин Е.А. Исследование эффективности алгоритма распознавания искаженных образов на временных рядах совокупностями нейросетей // Труды конференции "Методы и средства обработки информации". М.: Изд. отдел ф-та ВМиК МГУ, 2005. С. 553-559.

2. Рудаков К. В., Чехов и ч Ю.В. О проблеме синтеза обучающих алгоритмов выделения трендов (алгебраический подход) // Прикладная математика и информатика. № 8. М.: Изд. отдел ф-та ВМиК МГУ, 2001. С. 97-113.

3. Коваленко Д.С., Костенко В.А., Васин Е.А. Исследование применимости алгебраического подхода к анализу временных рядов // Труды конференции "Методы и средства обработки информации". М.: Изд. отдел ф-та ВМиК МГУ, 2005. С. 553-559.

4. Т р е к и н А. Г. Структурный синтез вычислительной системы с помощью генетических алгоритмов: Дис. ... канд. физ.-мат. наук. ВМиК МГУ, 2002.

Поступила в редакцию 01.11.06