CC BY
62Андрей СТРОГОНОВ, к. т. н.
andreis@hotmail.ru
Цель данной работы — показать эффективность использования линейной статической и динамической нейронной сети (НС) в решении практических задач — прогнозирования (экстраполяции), слежения, фильтрации, одношагового прогнозирования процесса деградации контролируемых параметров ИС.
Линейная сеть представляется сетью без промежуточных слоев, в выходном слое она содержит только элементы с линейной функцией активации. Веса соответствуют элементам матрицы, а пороги — компонентам вектора смещения. Во время работы сеть умножает вектор входов на матрицу весов, а затем к полученному вектору прибавляет вектор смещения [5-7]. Модель нейрона с линейной функцией активации приведена в работах [8, 9]. Модель сети записывается в матричном виде: У = Д Ир+Ь). Для работы с линейной сетью в системе Ма1ЬаЬ/81шиНпк существуют две М-функции: пе'^п и пе'^М [6].
Функция создания слоя линейных нейронов пе'^т (РИ, 8, ГО, ЬИ) имеет следующие аргументы: РК — Кх2-матрица минимальных и максимальных значений для К-вход-ных элементов; 5 — число элементов в выходном слое; Ю — вектор входной задержки, по умолчанию [0]; ТК — коэффициент обу-
Использование линейной нейронной сети в задачах прогнозирования деградации выходных параметров ИС
Исследования, проведенные в работах [1—3], показали, что модели цифровых фильтров и модели временных рядов, используемые для прогнозирования процесса деградации контролируемых параметров ТТЛ ИС при испытаниях на долговечность, связаны между собой и базируются на общем математическом аппарате для отыскания параметров этих моделей. Цифровые фильтры способны лишь строить одношаговые прогнозы и не подходят для прогнозирования времени наступления параметрических отказов. Модели временных рядов позволяют прогнозировать время наступления параметрического отказа по траектории процесса деградации контролируемого параметра. Однако при решении задач реального времени, к которым можно отнести задачи слежения и одношагового прогнозирования, они непригодны, т. к. для оценивания параметров моделей требуется накопление статистических данных. Необходима процедура идентификации модели и последующее исследование ее адекватности. Альтернативой использованию моделей цифровых фильтров и временных рядов могут выступать нейронные сети (НС), которые способны решать более широкий круг задач [4].
чения, по умолчанию 0,01. Функция пе'^т требует дополнительного обучения.
Функция проектирования нового слоя пе'^М (Р, Т) по матрицам входных и выходных векторов методом наименьших квадратов (МНК) определяет веса и смещения линейной сети. Начальные веса и смещение по умолчанию равны нулю. Функция не требует дополнительного обучения. Линейная функция в выходном слое не меняет уровня активации, не насыщается и поэтому способна экстраполировать.
Использование линейной НС должно быть основано на том предположении, что вход (вектор Р) и выход (вектор Т связаны между собой линейно.
Рассмотрим пример использования однослойной статической линейной НС (функция пе'^М) в задачах прогнозирования процесса деградации параметра и0т ИС типа 133ЛА8 и ИС типа 133ЛР3 [1-4]. Статическая НС характеризуется тем, что в ее состав не входят линии задержки и/или обратные связи. Для того, чтобы построить прогнозы НС, необходимо осуществить моделирование сети с вектором Р, а не с Т. В этом случае НС приобретает способность экстраполировать за пределы рассматриваемого ряда деградации.
Ниже приводится алгоритм настройки линейной НС с использованием функции newlind для параметра UOL ИС типа 133ЛА8 и ИС типа 133ЛР3.
%Алгоритм настройки линейной сети для ИС типа 133ЛА8 %Отсчеты
P = [1 23456789 10 11 12 13 14 15 16 17 18 192021 222324 25
26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45];
%Ряд деградации
T = [0.283 0.286 0.399 0.287 0.399 0.280 0.290 0.295 0.321 0.313 0.283 0.392 0.379 0.399 0.339 0.286 0.282 0.296 0.400 0.400 0.348 0.284 0.285 0.281 0.390 0.348 0.287 0.391 0.400 0.342 0.351 0.287 0.280 0.308 0.314 0.287 0.298 0.361 0.271 0.387 0.270 0.264 0.258 0.325 0.248]; net = newlind(P,T);
%Веса net.IW{1,1} ans =-6.7075e-004 %Смещение net.b{1} ans = 0.3371 y = sim(net,P); plot(P, T, P, y);
% Расчет функции критерия качества w_range = -1:0.1:0.1; b_range = 0:0.1:1;
ES = errsurf(P,T, w_range, b_range, 'purelin'); contour(w_range, b_range,ES,20); hold on;
plot(-6.7075e-004,0.3371, '*');
% Построение поверхности функции критерия качества surfc(w_range, b_range, ES) ;
%Алгоритм настройки линейной сети для ИС типа. 133ЛР3 %Отсчеты
P = [1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45];
%Ряд деградации
T = [0.230.230.230.230.230.350.250.230.230.230.220.240.350.39 0.350.390.350.240.30.370.40.230.230.220.380.330.260.320.280.21 0.320.23 0.280.380.390.23 0.380.220.20.20.21 0.220.21 0.21 0.21];
Рис. 1. Использование линейной НС newlind в задачах прогнозирования процесса деградации: а — параметра UoL ИС типа 133ЛА8; б — параметра UoL ИС типа 133ЛР3
пй = пешІт^Р, Т); у = $іт(пе1, Р); ріоі (Р, Т, Р, у);
На рис. 1 показано использование линейной НС пе—1і^ в задачах прогнозирования процесса деградации параметра ио) ИС типа 133ЛА8 (а) и ИС типа 133ЛР3 (б). Работа сети в обоих случаях может быть описана уравнением линейной регрессии. Для параметра ио) ИС типа 133ЛР3 уравнение линейной регрессии имеет вид: у = 0.29 - 0.00048х_Р. Однако коэффициент линейной регрессии 0.00048 статистически незначим, т. е. мало отличается от нуля. С учетом статистических критериев, применяемых к уравнению регрессии, следует принять: у = 0.29 В. На рис. 2а показано поле корреляции по параметру ио) ИС типа 133ЛА8 между целевым вектором Т и выходом НС У, полученное с использованием регрессионного анализа. Низкое значе-
ние коэффициента корреляции К = 0.181 говорит о том, что выход сети У достаточно сильно отклоняется от целевого вектора Т при предъявлении вектора Р.
Рассмотрим пример использования однослойной статической линейной НС (функция пе'^п) в задачах слежения за процессом деградации параметра и0т ИС типа 133ЛА8. Параметр скорости настройки НС 1г = 0,01. Задержка ряда деградации нулевая delays=[0]. Обучим сеть в два этапа с использованием функции группового обучения 1гатЬ. Первый этап: число эпох 400, ошибка работы сети 1е-3. На втором этапе зададим число эпох 2000, ошибку работы сети 1е-5. Критерием остановки процесса тренировки будет служить достижение заданной ошибки функционирования сети или превышение максимального числа эпох. В качестве функции оценки функционирования сети (ошибка сети) могут быть использованы любые дифференци-
руемые функции, например М8Е (среднеквадратическая ошибка сети, СКО) или MSEREG (взвешенная сумма среднеквадратической ошибки).
На рис. 2б показано поле корреляции по параметру ио) ИС типа 133ЛА8 между целевым вектором Т и выходом НС Упосле второго этапа обучения. Высокое значение коэффициента корреляции Я =1 говорит о том, что сеть обучилась должным образом. Результат выполнения функции еггеигі с использованием функции р1о1еэ показан на рис. 3. Оптимальные значения весов и смещений для данной сети на рис. 3 показаны светлоголубым цветом. На рис. 4а показана работа линейной сети после первого этапа обучения, а на рис. 4б — после второго этапа.
Т = [0.283 0.286 0.399 0.287 0.399 0.280 0.290 0.295 0.321 0.313 0.283 0.392 0.379 0.399 0.339 0.286 0.282 0.296 0.400 0.400 0.348 0.284 0.285 0.281 0.390 0.348 0.287 0.391 0.400 0.342 0.351 0.287 0.280 0.308 0.314 0.287 0.298 0.361 0.271 0.387 0.270 0.264 0.258 0.325 0.248];
0
£
£
>s
U
И
Рис. 3. Результат выполнения функции errsurf обученной линейной НС
для задачи слежения за процессом деградации параметра UoL ИС типа 133ЛА8: а — поверхность ошибок; б — контур ошибок
time = 1:1:45;
P = T;
net = newlin(minmax(P),1,[0],0.01); y = sim(net,P);
% Первый этап тренировки net.trainParam.show = 50; net.trainParam.epochs = 400; net.trainParam.goal = 1e-3;
[net,tr] = train(net, P, T);
TRAINB, Epoch 0/400, MSE 0.105765/0.001.
TRAINB, Epoch 50/400, MSE 0.00172551/0.001.
TRAINB, Epoch 100/400, MSE 0.00157034/0.001.
TRAINB, Epoch 150/400, MSE 0.00142913/0.001.
TRAINB, Epoch 200/400, MSE 0.00130061/0.001.
TRAINB, Epoch 250/400, MSE 0.00118365/0.001.
TRAINB, Epoch 300/400, MSE 0.00107721/0.001.
TRAINB, Epoch 340/400, MSE 0.000998996/0.001.
TRAINB, Performance goal met.
% Цель достигнута
% Весовой коэффициент и смещение НС после первого этапа
обучения
net.IW{1}, net.b
ans = 0.3424
ans = [0.2119]
%Второй этап тренировки НС Y = sim (net, P); plot (time, T, time, y); net.trainParam.show = 50;
net.trainParam.epochs = 2000; net.trainParam.goal = 1e-5;
[net,tr]=train(net,P,T); y = sim (net, P); plot (time, T, time, y);
% Весовой коэффициент и смещение НС после второго этапа
обучения
net.IW{1}, net.b
ans =0.9001
ans = [0.0322]
w_range=0:0.1:1; b_range=0:0.01:0.1;
ES = errsurf(P,T, w_range, b_range, 'purelin'); contour(w_range, b_range,ES,20); hold on;
plot(0.9001,0.0322, 'g*') ; surfc(w_range, b_range, ES);
%Регрессионный анализ результатов обработки [m,b,r] = postreg(y,T);
Рассмотрим пример использования линейной динамической НС в задачах адаптивной фильтрации ряда деградации параметра и0т ИС типа 133ЛА8. Эти сети характеризуются наличием линий задержки. Динамическая НС характеризуется тем, что в ее состав входят
линии задержки и/или обратные связи. Принцип адаптивной настройки заключается в том, что векторы обучающей выборки поступают на вход сети одновременно, а последовательно, по одному, при этом после предъявления очередного вектора производятся корректировка весов и смещений и производится моделирование сети, затем все повторяется. Для сетей такого класса часто используется название ADALINE (adaptive linear network) — адаптируемые линейные сети [8].
Линейные динамические НС могут быть адаптированы для решения задач фильтрации временных сигналов [10]. На рис. 5а и б показано использование линейной НС в задачах фильтрации рядов деградации выходных параметров ТТЛ ИС.
Сформируем линейную сеть с одним входом и одним выходом, используя функцию newlin. Введем линию задержки (ЛЗ) с двумя тактами запаздывания. Два такта задержки обосновываются тем, что процесс деградации параметра UOL ИС типа 133ЛА8 может быть описан моделью авторегрессии второго порядка ^Р(2)-модель) [1-3]:
y(t) - 0.526/(1-1) - 0.463y(l-2) = e(t).
Выполним пробную последовательную адаптацию линейной сети, используя процедуру адаптации adapt и оператор цикла. Произвольно зададим 30 циклов адаптации. Ряд деградации поступает на линию задержки так, что на ее выходе формируются два ряда: p(t-1), p(t-2). Настройка сети реализуется с помощью М-функции adapt, которая изменяет параметры сети на каждом шаге с целью минимизировать погрешность e(t) = a(t) - p(t). Если эта погрешность нулевая, то выход сети a(t) точно равен p(t) и сеть выполняет работу должным образом. НС в данном случае выступает в роли адаптивного цифрового фильтра [10].
Использование оператора цикла позволяет просматривать изменение коэффициентов
н
Время, уел. ед.
Время, уел. ед.
в
Рис. 4. Работа линейной сети в задаче слежения за процессом деградации параметра UoL ИС типа 133ЛА8: а — после обучения (первый этап); б — после обучения (второй этап)
а = purelin (Wp+b)
н
1
1
з
о
Время, уел. ед.
И
Рис. 5. Топология линейной сети и ее параметры после 30 циклов обучения: а — идея использования линейной НС в задачах фильтрации рядов деградации выходных параметров ИС; б — топология сети и раскрытие блока задержек; в — изменение весовых коэффициентов в процессе адаптации; г — ошибка работы сети
сети в процессе адаптации. На рис. 5в показано изменение весовых коэффициентов в процессе адаптации. На рис. 5г показано изменение ошибки работы сети. СКО НС после 30 циклов обучения составляет 0.031. Будем считать, что ошибка работы неудовлетворительна, и продолжим тренировку сети. Зададим ошибку функционирования сети равной 0.0001. Тогда число циклов тренировки до достижения заданной ошибки функционирования составит 1035.
%Сценарий настройки цифрового фильтра на базе НС %Адаптация сети осуществляется с помощью оператора цикла %Последовательное представление обучающей последовательности
P = {0.283 0.286 0.399 0.287 0.399 0.280 0.290 0.295 0.321 0.313 0.283 0.392 0.379 0.399 0.339 0.286 0.282 0.296 0.400 0.400 0.348 0.284 0.285 0.281 0.390 0.348 0.287 0.391 0.400 0.342 0.351 0.287 0.280 0.308 0.314 0.287 0.298 0.361 0.271 0.387 0.270 0.264 0.258 0.325 0.248};
T = P;
Lr = 0.01;
net = newlin([0.264 0.4],1,[0],lr); net.inputWeights{1,1}.delays = [0 1 2];
% Начальные значения весов и смещений net.IW{1,1} = [0.5 0.5 0.5]; net.b{1} = [0];
% Начальные значения задержек pi = {0.1 0.1}; y = sim(net, P, pi);
Y0 = cat(1,y{:}); for I =1:30,
[net,a{i},e{i}] = adapt(net, P, T);
W(i,:) = net.IW{1,1}; end;
YY = cell2mat(a{30}) ;
EE = cell2mat(e{30}) ; mse(cell2mat(e{30})) ans = 0.0031
%Адаптация сети до достижения заданной ошибки функционирования EE=0.0001
%Последовательное представление обучающей последовательности
P = {0.283 0.286 0.399 0.287 0.399 0.280 0.290 0.295 0.321 0.313 0.283 0.392 0.379 0.399 0.339 0.286 0.282 0.296 0.400 0.400 0.348 0.284 0.285 0.281 0.390 0.348 0.287 0.391 0.400 0.342 0.351 0.287 0.280 0.308 0.314 0.287 0.298 0.361 0.271 0.387 0.270 0.264 0.258 0.325 0.248};
T = P;
Lr = 0.01;
net = newlin([0.264 0.4],1,[0],lr); net.inputWeights{1,1}.delays = [0 12]; net.IW{1,1} = [0.5 0.5 0.5]; net.b{1} = [0]; pi = {0.1 0.1}; y = sim(net, P, pi);
Y0 = cat(1,y{:});
EE = 10; i = 1; while EE > 0.0001 [net,a{i},e{i},pf] = adapt(net,P,T);
W(i,:) = net.IW{1,1};
EE = mse(e{i}); ee(i) = EE; i = i+1; end;
Ниже приводится другой способ настройки параметров линейной сети с использованием процедуры адаптации adapt. Произ-
вольно задается 800 циклов адаптации На рис. 6 показана фильтрация ряда деградации параметра UOL ИС типа 133ЛА8 линейной сетью после обучения.
% Сценарий настройки цифрового фильтра на базе НС %Последовательное представление обучающей последовательности
P = {0.2830.2860.3990.2870.3990.2800.2900.2950.3210.3130.283 0.3920.3790.3990.3390.2860.2820.2960.4000.4000.3480.2840.285 0.2810.3900.3480.2870.3910.4000.3420.3510.2870.2800.3080.314 0.287 0.298 0.361 0.271 0.387 0.270 0.264 0.258 0.325 0.248};
T = P;
Lr = 0.01;
net = newlin([0.264 0.4],1,[0],lr); gensim(net);
% Введем ЛЗ с двумя тактами запаздывания net.inputWeights{1,1}.delays = [0 12];
% начальные значения весов и смещения net.IW{1,1} = [0.5 0.5 0.5]; net.b{1} = [0]; gensim(net);
% Зададим начальные условия для динамических блоков линии задержки pi = {0.1 0.1}; y = sim(net, P, pi); time = 1:1:45;
Y0 = cat(1,y{:}); plot(time,Y0);
net.adaptParam.passes = 800;
[net,Y,E,tr] = adapt(net,P,T,pi); y = sim(net, P, pi);
Y1 = cat(1,y{:}); plot(time,Y1);
Y2 = cat(1,Y{:});
Y3 = cat(1,T{:}); plot(time,Y2,time,Y3);
Время, уел. ед.
Рис. 6. Фильтрация ряда деградации параметра UoL ИС типа 133ЛА8 линейной сетью после ее обучения
Рис. 8. Одношаговое прогнозирование процесса деградации параметра UoL ИС типа 133ЛА8 линейной сетью
Рассмотрим пример использования линейной динамической сети в задачах одношагового прогнозирования процесса деградации параметра ио) ИС типа 133ЛА8. Схема метода показана на рис. 7. Ниже приведен сценарий, который предназначен для решения задачи предсказания процесса деградации на один шаг вперед. На рис. 8 показано одношаговое предсказание процесса деградации параметра ио) адаптивным цифровым фильтром на базе линейной динамической сети.
[net,Y,E,tr]= adapt(net,P,T,pi); y = sim(net, P);
Y1 = cat(1,y{:}); plot(time,Y1);
Y2 = cat(1,Y{:});
Y3 = cat(1,T{:}); plot(time, Y2, time, Y3);
% Окончательные значения весов и смещений
net.IW{1,1}
ans =
0.4344 0.3167
net.b{1}
ans =
0.0849
T = [0.2830.2860.3990.2870.3990.2800.2900.2950.3210.3130.283 0.3920.3790.3990.3390.2860.2820.2960.4000.4000.3480.2840.285 0.2810.3900.3480.2870.3910.4000.3420.3510.2870.2800.3080.314 0.287 0.298 0.361 0.271 0.387 0.270 0.264 0.258 0.325 0.248];
P = T;
ES = errsurf(P,T, w_range, b_range, 'purelin'); plotes(w_range,b_range, ES, [6030]);
На рис. 9 показан испытательный стенд в MatLab/Simulink (сверху вниз): адаптивный цифровой фильтр по критерию наименьшего СКО, по критерию МНК, адаптивный фильтр Калмана, КИХ-фильтр, цифровой адаптивный фильтр на основе НС с использованием линейной сети [4]. В основе адаптивных цифровых фильтров лежит уравнение КИХ-фильтра второго порядка. Работу фильтра по критерию МНК можно улучшить, увеличив память КИХ-фильтра, на-
пример, с 2 до 16 отводов. Первоначальные значения коэффициентов КИХ-фильтра могут быть положены равными нулю.
Представляет интерес сравнить одношаговые прогнозы, построенные с использованием различных моделей цифровых фильтров и НС. Сравнение прогнозов адаптивных цифровых фильтров по критерию СКО, МНК, прогноза КИХ-фильтра, прогноза адаптивного фильтра на базе НС с использованием линейной сети с рядом деградации параметра и0т ИС типа 133ЛА8 показано на рис. 10. Видно, что даже при достаточно малом числе отсчетов прогнозы различных моделей цифровых фильтров и НС хорошо согласуются между собой.
На основе рассмотренных примеров использования линейной НС к изучению процесса деградации параметра и0т ТТЛ ИС типа 133ЛА8, 133ЛР3 можно сделать вывод, что линейные НС, настроенные и обученные должным образом, достаточно хорошо справляются с задачами фильтрации, слежения, одношагового прогнозирования и хуже — с задачами прогнозирования (экстраполяции). Использование прогнозов НС позволяет повысить достоверность одношаговых прогнозов моделей цифровых фильтров.
% Сценарий настройки НС для одношагового прогнозирования T = {0.283 0.286 0.399 0.287 0.399 0.280 0.290 0.295 0.321 0.313 0.283 0.392 0.379 0.399 0.339 0.286 0.282 0.296 0.400 0.400 0.348 0.284 0.285 0.281 0.390 0.348 0.287 0.391 0.400 0.342 0.351 0.287 0.280 0.308 0.314 0.287 0.298 0.361 0.271 0.387 0.270 0.264 0.258 0.325 0.248};
P={1 23456789 10 11 12 13 14 15 1617 18 19 20 21 22 23 24 25 26
27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45};
P = T;
Lr = 0.001;
net = newlin([0.2640.4],1,[0],lr); net.inputWeights{1,1}.delays = [12];
net.IW{l,1 } = [0.5 0.4]; net.b{1}= [0];
%Задание начальных условий входных задержек pi = {0 0};
%Моделирование сети y = sim(net, P, pi); time = 1:1:45;
Y0 = cat(1,y{:}); plot(time,Y0);
net.adaptParam.passes = 800;
И
Вход
Цифровой фильтр
а = purelin (Wp+b)
Линия
Вход задержки Веса
Функция
активации Выход
И weight
р{1} Delays 1 IW{1.1} Д* |-----►|z£j-------->(1
bias у' netsum purelin a{1} b{1} Сумма
P{1} Delay 1 Delay 2
Смещения
Мультиплексор
Mux
Линия задержки
И
Рис. 7. Использование НС ADALINE для одношагового прогнозирования
Работа выполнена по программе гранта РФФИ 05-08-01225-а.
Литература
1. Строгонов А. В. Прогнозирование деградации выходных параметров ТТЛ ИС. Часть I // Компоненты и технологии. 2005. № 8.
2. Строгонов А. В. Прогнозирование деградации выходных параметров ТТЛ ИС. Часть II // Компоненты и технологии. 2005. № 9.
3. Строгонов А. В. Использование цифровых фильтров для моделирования деградации выходных параметров ТТЛ ИС в системе MatLab/Simulink // Компоненты и технологии. 2005. № 8.
4. Строгонов А. В. Использование нейронных сетей для прогнозирования деградации выходных параметров ТТЛ ИС в системе MatLab/Simulink // Компоненты и технологии. 2006. № 1.
5. StatSoft, Inc. (2001). Электронный учебник по промышленной статистике. Москва, StatSoft. www.statsoft.ru/home/portal/textbook_ind/ default.htm
6. Дьяконов В. П., Абраменкова И. В., Круглов В. В. MATLAB 5.3.1 с пакетами расширений. М.: Нолидж. 2001.
7. Howard Demuth, Mark Beale. Neural Network Toolbox For Use with MATLAB.
8. Галушкин А. И. Теория нейронных сетей. Кн. 1: Учеб. пособие для вузов. М.: ИПРЖ. 2000.
9. Маслобоев Ю. П. Введение в Neural Network Toolbox // www.exponenta.ru
10. Уидроу Б., Стирнз С. Адаптивная обработка сигналов / Пер. с англ. М.: Радио и связь. 1989.
UOL, В 0.5
0.45
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
О 5 10 15 20 25 30 35 40 45
Время, уел. ед.
Рис. 10. Сравнение прогнозов адаптивных цифровых фильтров по критерию СКО, МНК, прогноза КИХ-фильтра, прогноза адаптивного фильтра на базе НС с использованием линейной сети с рядом деградации параметра UoL ИС типа 133ЛА8
Рис. 9. Испытательный стенд в MatLab/Simulink (сверху вниз): адаптивный цифровой фильтр по критерию СКО, по критерию МНК, адаптивный фильтр Калмана, КИХ-фильтр, цифровой адаптивный фильтр на основе НС с использованием линейной сети
