Алгоритм максимизации энтропии обучающей выборки и его использование при синтезе моделей прогноза дискретных состояний нелинейных динамических систем Текст научной статьи по специальности «Математика»

УДК 629.76.05

с1о1:10.15217/1ззп1684-8853.2015.2.57

АЛГОРИТМ МАКСИМИЗАЦИИ ЭНТРОПИИ ОБУЧАЮЩЕЙ ВЫБОРКИ И ЕГО ИСПОЛЬЗОВАНИЕ ПРИ СИНТЕЗЕ МОДЕЛЕЙ ПРОГНОЗА ДИСКРЕТНЫХ СОСТОЯНИЙ НЕЛИНЕЙНЫХ ДИНАМИЧЕСКИХ СИСТЕМ

A. В. Назаров3, канд. техн. наук, доцент

B. Л Якимов3, канд. техн. наук, заместитель начальника кафедры В. А. Авдеев3, канд. техн. наук, заместитель начальника кафедры аВоенно-космическая академия им. А. Ф. Можайского, Санкт-Петербург, РФ

Постановка проблемы: для описания процессов функционирования и прогнозирования состояния неисправных, но работоспособных сложных технических объектов, находящихся в условиях нестационарного воздействия факторов внешней среды, часто используется математический аппарат, учитывающий нелинейный и вероятностный характер процессов функционирования его подсистем, например автоматы с памятью, вероятностные автоматы или логико-вероятностные модели. При этом низкая достоверность прогнозных моделей дискретных состояний обусловлена статистическими свойствами обучающей выборки. Цель работы — повысить достоверность класса прогнозных моделей дискретных состояний нелинейных динамических систем, получаемых на основе последовательного статистического обучения при заданном времени их обучения. Результаты: сформулирована общая постановка задачи синтеза ней-росетевой прогнозной модели, использующей кодированную информацию о дискретных состояниях нелинейной динамической системы, с учетом ограничений на время ее обучения. Разработан алгоритм обучения прогнозной модели, учитывающий требования к ее применению. Предложен алгоритм максимизации энтропии обучающей выборки, позволяющий значимо повысить достоверность нейросетевой прогнозной модели дискретных состояний с последовательным обучением и улучшить данный показатель по сравнению с наилучшей авторегрессионной полиномиальной моделью. Приведен пример прогнозной модели дискретных состояний бортовой аппаратуры космического аппарата в условиях нештатного функционирования. Практическая значимость: разработанные алгоритмы позволяют сравнительно быстро синтезировать достоверную прогнозную модель на основе кодированной информации о состояниях дискретной динамической системы при низком значении энтропии исходной обучающей выборки. Рекомендовано использовать разработанные алгоритмы в бортовых комплексах управления летательных аппаратов для синтеза автоматов, описывающих сложные процессы функционирования бортовых систем, в том числе в условиях нештатного функционирования.

Ключевые слова — нелинейная динамическая система, прогнозная модель, энтропия обучающей выборки, телеметрическая информация.

Введение

При проведении автоматизированных испытаний и в процессе эксплуатации сложных технических объектов широко используются модели в виде детерминированных конечных автоматов [1-3]. Синтез таких моделей осуществляется на основе априорной информации о процессах функционирования объектов испытаний и результатах анализа телеметрической информации об их состоянии. Одним из перспективных подходов в моделировании неисправных, но работоспособных объектов, находящихся в условиях воздействия внешних факторов среды, является применение искусственных нейронных сетей. Для нейросетевых моделей, реализующих методы статистического обучения с последовательным предъявлением обучающих примеров, доказана теоретически и показана на практике возможность аппроксимации автоматов различной сложности [4-8]. Достоверность нейросетевых прогнозных моделей сильно зависит от свойств выборки обучающих примеров. В данной работе рассматривается подход к формированию об-

учающей выборки на основе максимизации энтропии, позволяющий повысить достоверность прогнозной модели дискретных состояний нелинейной динамической системы при заданных ограничениях на время обучения. Приведены результаты его применения для моделирования процессов функционирования бортовой аппаратуры космического аппарата в условиях нештатного функционирования.

Постановка задачи прогнозирования дискретных состояний нелинейной динамической системы

Пусть объект испытаний представляет собой систему с конечным числом состояний. В каждый 1-й момент времени система находится в одном из состояний, которое кодируется двоичным словом 8;. Разряды двоичного слова несут информацию о состоянии g-х функциональных узлов системы, где g = 1..ш, т — количество разрядов в слове состояния. Для ликвидации неопределенности относительно процессов управления в каждый момент времени в кодовую

МОДЕЛИРОВАНИЕ СИСТЕМ И ПРОЦЕССОВ

последовательность добавлена информация о текущей команде управления К;. Команда управления представляет собой кодовое слово с основанием кода, равным 3: «включить — 1», «выключить — 2», »оставить неизменным — 0». Разряды слова команды управления несут информацию об изменении состояния отдельных функциональных узлов системы.

На основе анализа телеметрической информации, получаемой в ходе испытаний и эксплуатации системы, можно получить большое количество кодовых последовательностей различной длины, характеризующих процессы функционирования системы: 80К080К080К181К081К282...

К183К384К084К085; 81К081К080К486К480—К583 К184К084К085 и т. д. Для их описания могут быть использованы детерминированные конечные автоматы [4-6].

Неисправности могут являться причиной воздействия внешних факторов на процессы функционирования системы, вследствие чего происходят несанкционированные изменения ее состояния (отказы). В динамике таких отказов, несмотря на их вероятностный характер, может наблюдаться закономерность, обусловленная квазицикличностью воздействия некоторых внешних факторов. Рассмотренный случай интересен тем, что процессы функционирования системы становятся нелинейными, более сложными и менее предсказуемыми, а ее состояния в последующий момент времени зависят не только от текущего состояния и команды управления, но и от состояний системы в предыдущие моменты времени.

Предсказание дискретных состояний такой системы сводится к задаче экстраполяции функции многих переменных по заданному набору примеров с помощью процедуры погружения полученной кодовой последовательности слов состояния в многомерное пространство прогнозной модели [7]. Решение задачи прогнозирования состоит в нахождении функции р.

8;+1 = /(8,

..., в£-1, Б; , К; ), (1)

где Ь — размерность «окна прогнозирования» (глубина погружения), удовлетворяющая заданной достоверности прогноза на проверочной и тестовой выборке.

Используем в качестве прогнозной модели многослойную нейронную сеть с одним входным, одним выходным и двумя скрытыми слоями.

Такая структура показала свою эффективность при решении сложных задач обучения «с учителем» [8]. На выходе модели имеется пороговое устройство, позволяющее преобразовать непрерывные значения выходных нейронов в дискретные величины. Параметрами модели являются матрицы весовых коэффициентов сети

С1, С2, С3; количество нейронов в скрытых слоях Н1 и Н2; количество нейронов во входном слое Ь. Векторы входных данных и выходных данных У; образуют обучающую пару (таблица). В состав обучающей пары входят задержанные значения тех параметров состояния, которые оказывают влияние на состояние системы в последующий момент времени. Множество таких параметров состояния определяется экспертом.

Устройство прогнозирования дискретных состояний представляет собой нейросетевой автомат, который должен по команде от бортового комплекса управления гарантированно обучиться на имеющихся данных о функционировании контролируемой системы в течение заданного времени ^ не зависимо от начальных значений весовых коэффициентов и, также по команде, выдать сведения о достигнутой в ходе обучения достоверности прогнозной модели и прогноз дискретных состояний контролируемой системы с заданным временем упреждения. При этом достоверность прогнозной модели должна быть как можно выше. Введение ограничения на достоверность прогнозной модели снизу ведет к появлению вероятности невыполнения задачи за указанное время t3, что недопустимо для обеспечивающей системы, так как может помешать выполнению целевой задачи бортового комплекса управления.

Для уменьшения чувствительности прогнозной модели к начальным значениям весовых коэффициентов целесообразно на интервале времени [0, tз] провести несколько экспериментов по обучению нейронной сети. Статистическую оценку математического ожидания показателя достоверности прогнозной модели G определим в соответствии с выражением

1

& — -Р°ш = -~ ^ Рош к, к к—1

(2)

где Р ош — статистическая оценка математического ожидания вероятности ошибок первого и второго рода по результатам экспериментов; кз — количество экспериментов; к — номер экспери-

■ Структура обучающей пары векторов

Входной вектор Х; Целевой вектор У;

Состояние 8; К;, команда перехода в 8;+1 Задержанные значения параметров состояния (эё ..., эё —Ь+1) Состояние 8^

т бит 6 бит Ь бит т бит

мента, Н = 0...Нз; Рош Н — статистическая оценка вероятности ошибки многошагового прогноза дискретных состояний системы, полученная в эксперименте:

ы-ть+т

ЕЕ (8*-8)

р = ь=1 ;=ь__(3)

рош п N -т)т ■ (3)

Здесь N — интервал дискретных отсчетов времени, на котором вычисляется Рош Н; Т — интервал упреждения прогноза в дискретных отсчетах; I, I — номера дискретных отсчетов времени; 8* — прогнозное значение слова-состояния в ¿-й момент времени; — истинное значение слова-состояния в ¿-й момент времени:

Б* - 8; =

|0, Б; = Б; 11, Б; * 8*

Определим доверительный интервал д математического ожидания достоверности прогнозной модели G по результатам экспериментов с доверительной вероятностью Рз = 0,99 [9]. Зададимся целью максимизации математического ожидания достоверности прогнозной модели G дискретных состояний системы. Тогда задача оптимизации прогнозной модели дискретных состояний примет следующий вид:

а^1,''2,''^С^С^С^Н1,Н) ^ тах;

ц = 3,2МО), а е (0,1), ц е (0,1), ^ £ Ч,

А

(4)

где ст(О) — среднеквадратическое отклонение величины О по результатам Нз экспериментов; t0 — время, выделяемое для обучения моделей.

Достоверность прогнозной модели дискретных состояний системы О = О ± ц сильно зависит от свойств обучающей выборки. В результате значительной неравномерности распределения во времени режимов работы системы и управляющих воздействий, наличия в обучающей выборке информации не о всех переходах между состояниями системы, а также необходимости учета задержанных значений параметров состояния отдельных функциональных узлов возникает неравномерное распределение символов в обучающих примерах и примеров в обучающей выборке. При этом нейронная сеть с последовательным предъявлением обучающих примеров реагирует только на примеры обучающей выборки, характеризующие наиболее частые переходы между состояниями системы, в результате чего часть весовых коэффициентов сети не участвует в процессе обучения и эффект обобщения символьной информации не проявляется.

Для решения данной проблемы осуществляют поиск оптимального основания кода путем пере-

бора для обучающей пары векторов нейронной сети либо реализуют перекодирование имеющейся информации с использованием слоя Кохонена, что требует значительных временных затрат. Оба пути основаны на общем принципе предобработки исходных данных, который состоит в максимизации энтропии входов и выходов нейросе-тевой модели [10]. С другой стороны, энтропия будет максимальна, если дискретные величины, поступающие на каждый входной и выходной нейрон сети, будут распределены во времени равномерно. Преодолеть неравномерность возбуждения входных и выходных нейронов символами различных классов можно, изменяя частоту повторения тех или иных обучающих примеров на входе нейронной сети.

Рассмотрим матрицу исходных данных А^хМ, где М = (2т + й + Ь - 1) — размер обучающей пары векторов (рис. 1).

Дополняя матрицу А^хм содержащимися в ней векторами-строками <Х У£>, ¿ = необходимо сформировать матрицу С^,хм, для которой характерно максимально равномерное распределение символов различного класса в столбцах. При этом необходимо ввести промежуточную матрицу В^м, количество векторов J в которой (NA < J < Nc) изменяется в процессе решения следующей задачи оптимизации:

У(г) ^ тт, г

У(г) =

М Р^ (г)

ЕЕ Е

7=1 з=1

п}з (г)

^(г) Р;3 (г)

(5)

V (г + 1)< V (г)

О(г + 1) > б(г),ц(г + 1) < ц(г)

Ед1 т1п £ |О(г + 1)- О(г) £ 8Д1 тах (6)

ед2 т1п £ |ц(г + 1) - Ц(г)| £ ед2 тах

где г — количество итераций процедуры оптимизм

зации; п^ — число элементов х^ матрицы BJ

<Х<, ¥>

<Х„ ¥>

М 1

М 1

м

N.

0 0 1

1 0 1

1 0 1

1 0 1

1 1 0

0 1 0

2 0

2 0

0 0

1 0

0 0

1 1

Исходная матрица А

0 0 1

1 0 1

1 0 1

1 0 1

1 1 0

0 1 0

0 1 0

0 1 0

2 0

2 0

0 0

1 0

0 0

1 1

1 1

1 1

Промежуточная матрица В

0 0 1

1 0 1

1 0 1

1 0 1

1 1 0

0 1 0

0 1 0

0 1 0

0 1 1

1 0 0

2 0

2 0

0 0

1 0

0 0

1 1

1 1

1 1

0 1

2 1

Итоговая матрица С

■ Рис. 1. Схема формирования обучающей выборки

1

в j-м столбце, принадлежащих классу s; i, j — номер строки и столбца промежуточной матрицы BjxM соответственно; n.js/J — показатель плотности вероятности распределения элементов s-го класса на входе j-го нейрона; Pjs — количество классов элементов в j-м столбце; 1/pjs — показатель плотности вероятности распределения элементов на входе j-го нейрона в случае равномерного закона распределения; Ед1 min, 6д2 ш1п,_8д1 тах, 8д2 тах —

границы допусков на изменение G и д.

Минимизация функции (5) сопровождается увеличением количества обучающих пар векторов в выборке. Условия (6) означают, что с уменьшением значения целевой функции математическое ожидание достоверности прогнозной модели G должно расти, а доверительный интервал д — уменьшаться, при этом допускаются случайные изменения указанных характеристик в пределах заданных допусков. Критерием останова процедуры минимизации целевой функции (5) будем считать достижение такого значения r, при котором характеристики модели прогнозирования (G, д) не соответствуют условиям (6). Эффективность решения задачи (5) для повышения достоверности прогнозной модели может быть низкой в следующих случаях: исходная обучающая выборка обладает высокой энтропией; свойства обучающей выборки таковы, что при решении задачи (5) изменения целевой функции будут крайне малы.

Алгоритм обучения нейросетевой прогнозной модели

Алгоритм обучения и применения нейросе-тевой прогнозной модели, позволяющий решить задачу (4), использует принцип обратного распространения ошибки [10]. Схема алгоритма приведена на рис. 2.

Шаг 1. Задать структуру модели, сформировать обучающую, проверочную и тестовую выборки; присвоить номер эксперименту обучения: h = 1, h = 1..йз; задать матрицы Uk для хранения значений весовых коэффициентов каждого слоя наилучшей прогнозной модели, полученной по результатам h экспериментов, к — номер слоя, к = 1..3; задать значение промежуточной переменной для хранения минимального значения ошибки многошагового прогноза Рош h е, полученной по результатам h экспериментов, Р = 1.

Шаг 2. Задать начальные значения весовых коэффициентов матриц каждого слоя Wk и Ск на интервале [-0,5; 0,5]; присвоить элементам матриц изменений весовых коэффициентов dCk и dWk нулевые значения; задать количество циклов обучения в каждом эксперименте; задать начальное значение статистической оценки вероятности ошибки на проверочной выборке Рош he = 1;

значение периода упреждения прогноза Т; номер цикла обучения 6 = 1, 6 = 1..0з, где 6з — заданное количество циклов обучения; матрицы для хранения значений весовых коэффициентов каждого слоя наилучшей прогнозной модели, полученной в эксперименте; задать значение промежуточной переменной для хранения минимального значения ошибки многошагового прогноза

P

, полученной в эксперименте, Ph = 1.

ош к,6

Шаг 3. Присвоить значение счетчику векторов обучающей выборки I = 1, где I = 1..Ы, N — количество векторов в обучающей выборке; выбрать соответствующую пару векторов из обучающей выборки <Xi, Уi>.

Шаг 4. Подать на вход/выход модели обучающую пару <Xi, Yi>; вычислить компоненты вектора выходных значений каждого слоя вычислить взвешенные суммы Qf каждого слоя нейронной сети; осуществить нелинейное преобразование с использованием сигмоидной функции активации и получить векторы выходных значений каждого слоя У■k:

О! ° ^ ]—+ с!,

Yk ° у ] =

Vv =-

1 + exp(—q?)

(7)

где Xi — входной вектор-строка параметров модели; ^ — текущая матрица весовых коэффициентов к-го слоя; С| — текущий вектор постоянного смещения; v — номер элемента вектора-строки. В результате прямого прохода сигналов на выходе нейросетевой прогнозной модели получаем вектор

у; = [у„ ] — /(((/(^1 + с1 )2 + с2) + с3), (8)

где уи — компоненты выходного вектора-строки; f — сигмоидная функция активации (7). Для сети с двумя скрытыми слоями целевая функция будет иметь вид

E(W? ,C?

N m / *

=EE(vv-Vv

i=1v=14

(9)

-\г* _ г * « *

где У; = у ] — целевой вектор; уи — компоненты целевого вектора; т — размер выходного вектора.

Далее реализуется процедура обратного распространения ошибки и вычисляется вектор ошибок каждого слоя нейронной сети Дк:

А; °[5„ ] — У; - У*;

д! °[5! 1 —( — у! (1-у! )

D °\dVk\ = A? wkT;

a?-1 °lsk-1

= (8v = Vv (1 — Vv )dv

(10)

с

Начало

Задать структуру модели, сформировать обучающую, проверочную и тестовую выборки; Н = 1, Н = 1..Нз. Задать матрицы весовых коэффициентов ик, к — номер слоя, к = 1..3; Р = 1

Задать начальные значения весовых коэффициентов матриц Wk на интервале [-0,5; 0,5]; присвоить элементам матриц изменений весовых коэффициентов dСk и dWk нулевые значения; Рош й е = 1; матрицы и^, к — номер слоя, к = 1..3 для хранения значений весовых коэффициентов наилучшей прогнозной модели в эксперименте Н; ввести значение Рк = 1, Т, номер цикла обучения 9 = 1, 9 = 1...9з

3

Присвоить значение счетчику векторов обучающей выборки ¿ = 1, ¿ = 1..^ выбрать вектор из обучающей выборки <Хг, Уг>

Подать на вход/выход нейросети пару <Хг, Уг> из обучающей выборки. Вычислить компоненты вектора выходных значений каждого слоя Ук (7). Выполнить процедуру обратного распространения ошибки (10). Корректировать матрицы весовых коэффициентов (11)

Да

¿ = ¿ + 1

6

Определить вероятность ошибки многошагового прогноза на проверочной выборке (3)

Нет

Да

Рн = Рош,й,е, = Wk

X 9<9з

Да

Нет

9 = 9 + 1-

»

Определить вероятность ошибки многошагового прогноза на тестовой выборке (3)

10

Определить статистическую оценку математического ожидания достоверности прогнозной модели на тестовой выборке и доверительный интервал по результатам Нз экспериментов. Результат: модель заданной структуры, _ матрицы весовых коэффициентов ик и характеристики модели (2) и (4) (С, ц)

Нет

11

Установить счетчик векторов ¿ = 0. Загрузить вектор Хг

12

I

Вычислить компоненты вектора выходных значений прогнозной модели: Я*

+ 1

Нет

¿ = ¿ + 1

14 Осуществить сдвиг «окна прогнозирования» вправо по шкале времени с добавлением прогнозного значения слова состояния Я*+ I и образованием нового входного вектора Х*+ !

4

6

Р__ >. Л < Р

ош,н,е — н

15 ^^^ ^^^^ Нет

акончить прогноз

Конец

Да

■ Рис. 2. Алгоритм обучения нейросетевой прогнозной модели

Затем осуществляется коррекция значений элементов матриц &Ск, dWk, Ск, Wk^■

dW? — цУ;!-1Г А?

1-1»

dC! — цА? + (^С!-1;

(11)

wi+l — w?

dW?; С?+1 — С!

^С?,

где ц — скорость обучения; а — момент обучения.

Шаг 5. Проверить выполнение условия использования всех примеров обучающей выборки: если i < N, то увеличить значение счетчика векторов i на единицу и повторить шаг 4, иначе перейти к шагу 6.

Шаг. 6. Определить статистическую оценку вероятности ошибки многошагового прогноза Р.

ош к,6

(3) на проверочной выборке после каждого цикла обучения. Если Рош к6 < Рк, то присвоить переменной Рк значение Рош к 6, а элементам матриц и — текущие значения матриц весовых коэффициентов каждого слоя сети Wk и Ск.

Шаг 7. Проверить выполнение условия: если количество циклов обучения 6 не превысило заданное значение 6з, то увеличить значение счетчика циклов обучения 6 на единицу и выполнить шаги 3-6, иначе перейти к шагу 8. Величина 6з подбирается экспериментальным путем до начала серии экспериментов, исходя из приемлемого значения времени обучения: t0 <

Шаг 8. Определить статистическую оценку вероятности ошибки многошагового прогноза Рош к на тестовой выборке, получаемую для прогнозной модели с матрицами весовых коэффициентов и]к. Если Рош к < Р, то присвоить переменной Р значение Рош к, а элементам матриц ик — текущие значения матриц весовых коэффициентов каждого слоя ик, при невыполнении условия перейти к шагу 9.

Шаг 9. Проверить выполнение условия: если достигнуто заданное количество экспериментов обучения модели кз, то перейти к шагу 10, иначе увеличить значение счетчика экспериментов к на единицу и выполнить шаги 2-8. Величина кз выбирается экспериментальным путем до начала серии экспериментов, исходя из приемлемого значения времени обучения: 10 < t3.

Шаг 10. Определить статистическую оценку математического ожидания достоверности прогнозной модели О на тестовой выборке (2) и доверительный интервал д (4). Результатом работы шагов 1-10 алгоритма является прогнозная модель (структура нейронной сети и набор из к матриц весовых коэффициентов каждого ее слоя ик) и характеристики О, д), позволяющие оценить, насколько можно доверять ее прогнозам.

Шаг 11. По команде на применение прогнозной модели значению счетчика векторов присвоить

значение i = 0, на вход модели подать новый входной вектор

Шаг 12. Вычислить компоненты вектора выходных прогнозных значений нейронной сети 8*+1, соответствующие входному вектору

Шаг 13. Проверить выполнение условия реализации многошагового прогноза с периодом упреждения Т: если i > Т, то выполнить шаг 15, иначе шаг 14.

Шаг 14. Осуществить сдвиг «окна прогнозирования» вправо с добавлением прогнозного значения слова состояния 8*+1 во входной вектор Х*+1, увеличить значение счетчика i на единицу, выполнить шаги 12-13.

Шаг 15. Проверить выполнение условия: если поступила команда закончить прогноз, то выполнить шаг 16, иначе повторить шаги 11-14 для очередного входного вектора.

Шаг 16. Проверить выполнение условия: если поступила команда дообучить модель на новых данных, то, при необходимости, верифицировать структуру прогнозной модели и выполнить шаги 1-15, иначе закончить работу.

Алгоритм максимизации энтропии обучающей выборки

Для повышения достоверности прогнозной модели, синтезируемой в результате работы описанного алгоритма, решим задачу максимизации энтропии обучающей выборки (5). Для ее решения разработан алгоритм, представленный на рис. 3.

Шаг 1. Задаются исходная обучающая выборка в виде матрицы А; структура пробной прогнозной модели и начальные значения ее весовых коэффициентов; промежуточная матрица В, элементам которой присваиваются значения элементов исходной обучающей выборки А; матрица Z для хранения промежуточных вариантов матрицы В; граничные значения допусков на характеристики модели (4) 8д!

т^ ед2 т^ 8д1 max, ед2 тах; параметр г>

показывающий количество циклов обновления выборки, г = 0; оценивается значение целевой функции Ув для матрицы В в соответствии с (6).

Шаг 2. Осуществляется инициализация значения счетчика векторов i = 0.

Шаг 3. Осуществляется выборка обучающей пары <Х;, У;> из матрицы А.

Шаг 4. Обучающая пара векторов <Х;, У;> добавляется к матрице В снизу, а значения элементов промежуточной матрицы В заносятся в матрицу Z.

Шаг 5. Оценивается значение целевой функции У2 для матрицы Z.

Шаг 6. Проверяется следующее условие: если значение целевой функции уменьшается: Уг < Ув, то В = Z, Ув = У2, осуществляется повтор шагов 4-5 для обучающей пары векторов <Х;, У;>; иначе,

■ Рис. 3. Алгоритм максимизации энтропии обучающей выборки

если Уг > Ув, то значение счетчика векторов ¿ увеличивается на единицу.

Шаг 7. Проверяются следующие условия: если ¿ < NA, то необходимо повторить шаги 3-6 для очередного вектора <Х1, У£>. Если же ¿ > NA, то г = г + 1, осуществляется загрузка исходных данных для обучения прогнозной модели, строится пробная прогнозная модель на основе обучающей выборки В при заданных начальных значениях весовых коэффициентов, оцениваются характеристики О, д пробной прогнозной модели.

Шаг 8. Проверяется следующее условие: если характеристики прогнозной модели удовлетворяют условиям (6) при увеличении г, то выполняются шаги 2-7, иначе останавливается процесс оптимизации целевой функции, переписываются значения элементов матрицы В в матрицу С, обу-

чается прогнозная модель на обучающей выборке С с учетом ограничений на время обучения (4).

Пробная прогнозная модель используется в алгоритме для определения качества формируемой обучающей выборки. При сравнении разных вариантов обучающей выборки (шаг 7) необходимо обеспечить равные условия для обучения пробных прогнозных моделей: структуру модели, начальные значения весовых коэффициентов и количество векторов, поступивших на вход модели за время ее обучения Поэтому с ростом размера обучающей выборки при решении задачи (5) необходимо пропорционально уменьшать количество циклов обучения. Полученная в результате решения задачи (5) обучающая выборка используется для решения задачи (4) уже при заданных ограничениях на время обучения.

Результаты моделирования

Рассмотренные алгоритмы были использованы для синтеза прогнозной модели дискретных состояний бортовой аппаратуры космического аппарата с неисправной системой электропитания. Неисправность стала причиной срабатывания систем автоматики и нештатных отключений солнечной батареи. Результаты моделирования представлены на рис. 4. Во входной вектор прогнозной модели вошли слово состояния бортовой аппаратуры и солнечной батареи в текущий

а) Jx10 90 80 70 60 50 40 30 20 10 0

2

б) 1,0 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,0

в)

G

V

0,85 0,80 0,75 0,74 0,73 0,72 0,710,70 0,69 0,68

G

0,55

- -у- --]- — <4! ! г_ - т---|---г - Т~ --1---1 1 1 1 1 1 1 1 1 1 1 1 1

----- 1 1 1 1 1 1 1 1 1 1 1 1 ----Т--------Т----1----1----- ! G ! t ^Zw---1----T----1----1---- ^O^ I /-О—1 -^l 1 1 1 1 —1 ___1 i^f^T r -- -R^O^tor - T----1 - —©- - 1 ^ 1—O—J__г. 1 " o—JJHfc^1 -4W1 ' —I—O

-|-1-i- i i r-o—i—o——1 -o lili 1 t>-J—o ----+----1----1----+----1----1---- lililí lililí -1-1-1-1-1-1-

T

10

■ Рис. 4. Зависимости: а — количества векторов в обучающей выборке J от количества циклов обновления г в процессе оптимизации целевой функции V; б — достоверности прогнозной модели С от значения целевой функции V; в — достоверности С нейросете-вой (красная) и полиномиальной авторегрессионной (синяя) модели от времени упреждения прогноза Т

момент времени (5 бит), команда управления (4 бит) и задержанные значения параметра состояния солнечной батареи (20 бит). Выходной вектор представлял собой слово состояния бортовой аппаратуры и солнечной батареи в следующий момент времени (5 бит). Размер обучающей выборки составил 1000 примеров на интервале времени, равном одному году. Время обучения прогнозной модели ^ было выбрано равным периоду одного витка космического аппарата. В результате работы алгоритма максимизации энтропии обучающей выборки и решения задачи (5) количество векторов в ней увеличилось до 8500 (рис. 4, а).

Полученная обучающая выборка была использована для обучения нейронной сети и решения задачи (4) при заданных ограничениях на время обучения, в результате чего достоверность пробной прогнозной модели увеличилась с 60 до 85 % (рис. 4, б). На рис. 4, в представлены результаты применения полученной прогнозной модели при различном времени упреждения прогноза Т

а) s5 0,6

0,5

0,4

0,3

0,2

i

lii

I

1

70

80

90 100

б) s5

0,4 0,3 0,2

60

70

80

90

100

■ Рис. 5. Фрагмент зависимости истинных (красные) и прогнозных (зеленые) значений параметра состояния, характеризующего отключения солнечной батареи без использования (а) и с использованием (б) алгоритма максимизации энтропии обучающей выборки

r

в сравнении с наилучшей полиномиальной авторегрессионной моделью.

На рис. 5 представлены фрагменты зависимости истинных и прогнозных значений параметра состояния солнечной батареи (разряд в5 в слове состояния), характеризующего ее отключения (штатные и несанкционированные), полученные нейросете-вой прогнозной моделью на интервале упреждения, равном одному дискретному отсчету времени (3 мин), без использования алгоритма максимизации энтропии обучающей выборки (рис. 5, а) и с использованием разработанного алгоритма (рис. 5, б).

На рассмотренном интервале времени алгоритм максимизации энтропии обучающей выборки позволил уменьшить вероятность пропуска отказа.

Заключение

Для оперативного решения задач технической диагностики сложных объектов испытаний используется телеметрическая информация, содер-

Литература

1. Александровская Л. Н., Круглов В. И., Кузнецов А. Г. Теоретические основы испытаний и экспериментальная отработка сложных технических систем: учеб. пособие. — М.: Логос, 2003. — 736 с.

2. Горбатов В. А. Фундаментальные основы дискретной математики. — М.: Наука. Физматлит, 2000. — 544 с.

3. Luger G. F. Artificial Intelligence: Structures and Strategies for Complex Problem Solving. — Addison Wesley, 2002. — 850 p.

4. Callan R. The Essence of Neural Networks (Essence of Computing). — Prentice Hall, 1998. — 248 p.

5. Кретинин А. В., Солдатов Д. В., Шалыто А. А., Шо-стак А. В. Ракеты. Автоматы. Нейронные сети // Нейрокомпьютеры: разработка и применение. 2005. № 5. C. 50-59.

6. Мальцев Г. Н., Назаров А. В., Якимов В. Л. Алгоритм реконструкции фазового пространства дина-

жащая сведения о состояниях объекта и значения некоторых наиболее важных его функциональных параметров. В работе показана возможность использования такого рода данных для синтеза нейросетевых прогнозных моделей дискретных состояний (нейросетевых автоматов) нелинейных динамических систем на примере бортовой аппаратуры космического аппарата в условиях нештатного функционирования. Использование алгоритма максимизации энтропии позволило повысить достоверность прогнозной модели дискретных состояний бортовой аппаратуры космического аппарата на основе многослойной нейронной сети на 25 % и улучшить данный показатель по сравнению с авторегрессионной полиномиальной моделью на 5-7 %. Разработанный алгоритм максимизации энтропии обучающей выборки позволяет сформировать такую последовательность обучающих примеров на входе/выходе прогнозной модели, которая улучшает ее возможности к обобщению символьной информации и повышает достоверность при введении ограничений на время обучения.

мической системы и его применение для разработки прогнозных моделей // Информационно-управляющие системы. 2014. № 2(69). С. 33-40.

7. Назаров А. В., Якимов В. Л. Прогнозирование технического состояния малых космических аппаратов с использованием многослойных нейронных сетей // Изв. вузов. Приборостроение. 2006. № 1. С. 7-12.

8. Горбань А. Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей // Сибирский журнал вычислительной математики. 1998. Т. 1. № 1. С. 12-24.

9. Хартман К., Лецкий Э., Шефер В. Планирование эксперимента в исследованиях технологических процессов. — М.: Мир, 1977. — 544 с.

10. Haykin S. S. Neural Networks: A Comprehensive Foundation. — Prentice Hall, 1998. — 842 p.

UDC 629.76.05

doi:10.15217/issn1684-8853.2015.2.57

Training Sample Entropy Maximization Algorithm and its Use in Synthesis of Predictive Models of Nonlinear Dynamical System Discrete States

Nazarov A. V.a, PhD, Tech., Associate Professor, [email protected] Yakimov V. L.a, PhD, Tech., Deputy Head of Chair, [email protected] Avdeev V. A.a, PhD, Tech., Deputy Head of Chair, [email protected]

aA. F. Mozhayskii Military Space Academy, 13, Zhdanovskaia St., 197198, Saint-Petersburg, Russian Federation

Purpose: To describe the functioning processes and forecast the condition of faulty but runnable comlex technical objects under non-stationary impact of environment factors, we often use a mathematical apparatus considering nonlinear and probabilistic nature of the functioning processes in its subsystems, for example, automata with memory, probabilistic automata or logical-probabilistic models. The predictive models of discrete states have low reliability because of the statistical properties of the training sample.

The goal of this work is to increase the reliability of predictive models for discrete states of nonlinear dynamical systems obtained on the base of consecutive statistical training when the training time is preset. Results: A general problem definition is formulated for neural network predictive model synthesis. It uses coded information on discrete conditions of a nonlinear dynamic system taking into account the restrictions on its training time. An algorithm of predictive model training is developed, considering the requirements to its application. An algorithm of maximizing the training sample entropy is offered, helping to significantly increase the reliability of discrete states neural network predictive model with consecutive training and to improve this indicator in comparison with the best autoregression polynomial model. An example is given for a predictive model of spacecraft onboard equipment discrete conditions under the conditions of emergency functioning. Practical relevance: The developed algorithms allow us to quickly synthesize a reliable predictive model on the base of coded information on the conditions of a discrete dynamic system at a low value of entropy of the initial training sample. It is recommended to use the developed algorithms in onboard aircraft management complexes for the synthesis of automata which describe complex processes of onboard system functioning, including emergency functioning.

Keywords — Nonlinear Dynamic System, Predictive Model, Training Sample Entropy, Telemetric Information.

References

1. Aleksandrovskaia L. N., KrugloB V. I., Kuznetsov A. G. Teo-reticheskie osnovy ispytanii i eksperimental'naia otrabotka slozhnykh tekhnicheskikh sistem: uchebnoe posobie [Theoretical Tests Bases and Experimental Working of Difficult Technical Systems]. Moscow, Logos Publ., 2003. 736 p. (In Russian).

2. Gorbatov V. A. Fundamental'nye osnovy diskretnoi matema-tiki [Fundamental Bases of Discrete Mathematics]. Moscow, Nauka Publ., 2000. 544 p. (In Russian).

3. Luger G. F. Artificial Intelligence: Structures and Strategies for Complex Problem Solving. AddisonWesley, 2002. 850 p.

4. Callan R. The Essence of Neural Networks (Essence of Computing). Prentice Hall, 1998. 248 p.

5. Kretinin A. V., Soldatov D. V., Shalyto A. A., Shostak A. V. Rockets. Automatos. Neural Networks. Neirokomp'iutery: razrabotka iprimenenie, 2005, no. 5, pp. 50-59 (In Russian).

6. Maltsev G. N., Nazarov A. V., Yakimov V. L. A Reconstruction Algorithm for a Dynamic System Phase Space and its

Application for Development of Predictive Models. Infor-matsionno-upravliaiushchie sistemy [Information and Control Systems], 2014, no. 2(69), pp. 33-39 (In Russian).

7. Nazarov A. V., Yakimov V. L. Prediction of Technical State of Small Spacecrafts with Usage Multilayer Neural Networks. Izvestiia vuzov. Priborostroenie, 2006, no. 1, pp. 7-12 (In Russian).

8. Gorban' A. N. Generalized Approximation Theorem and Computational Capabilities of Neural Networks. Sibirskii zhurnal vychislitel'noi matematiki, 1998, vol. 1, no. 1, pp. 12-24 (In Russian).

9. Khartman K., Letskii E., Shefer V. Planirovanie eksperi-menta v issledovaniiakh tekhnologicheskikh protsessov [Experiments Design in the Technological Processes Research]. Moscow, Mir Publ., 1977. 552 p. (In Russian).

10. Haykin S. S. Neural Networks: A Comprehensive Foundation. Prentice Hall, 1998. 842 p.

К статье Г. Н. Мальцева, А. Н. Панкратова, Д. А. Лесняка «Исследование вероятностных характеристик изменения защищенности информационной системы от несанкционированного доступа нарушителей»

(Информационно-управляющие системы, 2015, № 1(74), с. 50-58).

На с. 55 ошибочно помещен рисунок: 1

0,8 0,6 0,4 0,2 0

0

0,5

1

1,5

2

Вместо него должен быть следующий рисунок:

1 1 1 _. 1 1

2 0,8

3 0,6

/ - 0,4

1 1 1 0,2

0

i i i 1

2

3

' 1 i i

T/T„

0 0,5 1

Редакция журнала приносит извинения за ошибку, допущенную в статье.

1,5

защ

2