Влияние различных методов обучения диагностических нейромоделей на эффективность решаемых ими задач Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 629.735.03

ВЛИЯНИЕ РАЗЛИЧНЫХ МЕТОДОВ ОБУЧЕНИЯ ДИАГНОСТИЧЕСКИХ НЕЙРОМОДЕЛЕЙ НА ЭФФЕКТИВНОСТЬ РЕШАЕМЫХ ИМИ ЗАДАЧ

П.И. РАКОВ

Статья представлена доктором технических наук, профессором Чичковым Б.А.

В статье приведены результаты анализа влияния некоторых алгоритмов обучения нейронных сетей на качество аппроксимации и прогнозирования изменения параметров функциональных зависимостей. Анализ производился с использованием статистических данных об изменении рабочих параметров двухконтурного турбореактивного двигателя (ТРДД) ПС-90А от наработки.

При создании и настройке нейронных сетей (НС) одним из наиболее ответственных этапов является выбор алгоритма ее обучения. Главная задача исследования влияния различных методов обучения заключалась в том, чтобы ответить на вопрос: какой из алгоритмов (группа алгоритмов) может быть использован при обучении НС для достижения ею наилучших результатов в решении задач аппроксимации и прогнозирования изменения параметров функциональных зависимостей. В данном случае, под наилучшими результатами функционирования НС следует понимать:

1. способность обеспечения требуемого уровня точности отслеживания нейронной сетью значений статистической выборки (задача аппроксимации функции);

2. обеспечение как краткосрочного, так и долгосрочного прогнозирования изменения газодинамических параметров ТРДД с достаточно высокой точностью.

Для наглядности результатов, полученных при использовании различных алгоритмов обучения, было бы уместно принять все остальные параметры НС за постоянные. Однако применение для одной и той же НС различных алгоритмов обучения не позволяет в полной мере судить об эффективности применения того или иного алгоритма. Дело заключается в том, что некоторые параметры НС очень тесно связаны между собой. Примером такой взаимосвязи может служить то обстоятельство, что ряд НС, обученных по некоторым алгоритмам обучения, показывают крайне слабые результаты аппроксимации нелинейных зависимостей при недостаточном количестве в них нейронов. Определение величины нейронов, необходимых для удовлетворительного решения данной задачи нейросетью, использующей определенный алгоритм обучения, является задачей, в значительной степени, эмпирической. Можно сделать предположение о том, что априорное увеличение числа нейронов в НС позволит в большинстве случаев избежать вышеописанной ситуации. В то же время подобное увеличение числа нейронов может привести к резкому увеличению времени обучения для другого ряда алгоритмов, или может привести к тому, что возможностей вычислительной машины окажется недостаточно. Кроме того, высказывание предположения о неспособности того или иного алгоритма применительно к конкретному типу НС выполнять задачи аппроксимации видится недостаточным. Необходимо выяснить, способствует ли вообще применение рассматриваемых алгоритмов удовлетворительной реализации нейросетью задач аппроксимации и прогнозирования, а если способствует, то изменение какого параметра (группы параметров) НС этому содействует. С этой целью было использовано несколько типов статических НС, которые отличаются друг от друга числом нейронов и количеством циклов обучения, что позволит более точно определить влияние параметров НС на алгоритмы обучения. Основные характеристики НС подбирались таким образом, чтобы, обучаясь по тем или иным алгоритмам, эти НС обеспечивали близкий уровень точности отслеживания изменения параметра нелинейной функции.

В табл. 1 приведены алгоритмы обучения НС, среди которых:

1. НС1, НС3-НС10 имели следующие основные характеристики:

топология: [70]-[290]-[110]-[20]-[5]-[20]-[10]-[5]-(1), где значения 70, 290, 110 и т.д. означают количество нейронов в слое, а квадратные и круглые скобки указывают на вид функции активации нейронов в слое (сигмоидальная и линейная соответственно); количество циклов обучения: 300; параметр регуляризации (параметр К): 0,99999;

2. НС2 и НС4 отличаются от предыдущих увеличенным до 1500 количеством циклов обучения;

3. Для алгоритма А11 была использована НС 11 следующего типа: топология: [5]-[300]-(1);

количество циклов обучения: 50;

параметр регуляризации (параметр Я): 0,99999.

Таблица

Различные алгоритмы обучения НС

№ п/п № НС Алгоритм обучения

1 НС1 Одношаговый алгоритм метода секущей (А1)

2 НС2 Алгоритм градиентного спуска (А2)

3 НС3 Алгоритм градиентного спуска с выбором параметра скорости настройки (А3)

4 НС4 Алгоритм градиентного спуска с возмущением (А4)

5 НС 5 Алгоритм градиентного спуска с возмущением и адаптацией параметра скорости настройки (А5)

6 НС 6 Пороговый алгоритм обратного распространения ошибки (А6)

7 НС 7 Метод сопряженного градиента с обратным распространением ошибки в модификации Флетчера-Ривса (А7)

8 НС 8 Метод сопряженного градиента с обратным распространением ошибки в модификации Полака-Рибейры (А8)

9 НС 9 Метод сопряженного градиента с обратным распространением ошибки и рестартами в модификации Пауэлла-Биеле (А9)

10 НС10 Комбинация метода сопряженного градиента с квазиньютоновым подходом в модификации Моллера (А10)

11 НС11 Алгоритм Левенберга-Марквардта (А11)

Выбор алгоритмов обучения НС, представленных в таблице, не означает, что все остальные алгоритмы не позволяют достигнуть удовлетворительного выполнения сетью поставленных перед нею задач. Дело в том, что НС, обученные некоторыми из вышеприведенных алгоритмов, находят широкое применение при решении задач аппроксимации нелинейных зависимостей.

О качестве выполненного нейронными сетями обучения в некоторой степени можно судить по абсолютным величинам ошибок обучения (рис. 1). Однако, достоверно известно, что НС, достигнувшая крайне малой абсолютной величины ошибки обучения не всегда удовлетворительно справляется с задачей аппроксимации нелинейных функций. Кроме того, даже при снижении величины ошибки не исключена вероятность возникновения эффекта заучивания нейросетью значений обучающей выборки. Это обстоятельство может негативно сказаться как на качестве аппроксимации, так и прогнозирования изменения значений нелинейной функции.

к

г

я

т

«о

о

8

И

«о

а

о

се

Я

8

Г

8

Ч

о

в

0,002 ч 0,0018 0,0016 0,0014 0,0012 0,001 0,0008 0,0006 +

0,0004 --

0,0002 -[■

0

НС1 НС2 НС3 НС4 НС5 НС6 НС7 НС8 НС9 НС10 НС11 Рис. 1. График абсолютных значений величины ошибки обучения

Видится возможным предположить, что значения ошибок обучения не являются показательными с точки зрения сравнения эффективности алгоритмов обучения НС в задачах аппроксимации и прогнозирования. Сравнение абсолютных величин может дать некоторое представление о том, насколько отдельные выходные значения могут приблизиться к значениям статистической выборки (значения целей).

Наличие графического представления разницы между значениями статистических данных и выходными значениями НС видится более информативным с точки зрения сравнения результатов обучения. Именно это сравнение позволит судить об эффективности НС в вопросах решения задач аппроксимации, а в дальнейшем и прогнозирования изменения значений нелинейных функций.

По результатам обучения были построены графики, приведенные на рис. 2 - 13. Для построения аппроксимирующих и прогнозирующих кривых, приведенных на рис. 2 - 13 были использованы статистические данные (© ОАО «Авиадвигатель») зависимости отношения давления газов за турбиной низкого давления (ТНД) к давлению воздуха на входе в двигатель (Рт/Рвх) от наработки.

Некоторым подтверждением предположения об отсутствии строгой зависимости между величиной ошибки и качеством аппроксимации может служить тот факт, что применение алгоритма А6, способствовавшего довольно серьезному снижению ошибки обучения (таблица) по сравнению со всеми остальными алгоритмами, не позволило аппроксимирующей кривой значительно приблизиться к значениям целей во всем диапазоне наработки (рис. 6), хотя отдельные выходные значения довольно серьезно приблизились к заданным значениям.

Анализируя качество аппроксимации нейросетями функциональных зависимостей, следует отметить, что его критерием являлась разница между выходными значениями НС и значениями целей (входные данные).

Из графиков (рис. 2 - 12) следует, что качество аппроксимации нейросетями, использующими рассматриваемые алгоритмы обучения в ряде случаев довольно существенно различается. Так, НС1, НС4, НС5, НС6 и НС9 (см. табл. 1) не позволили в рассмотренных примерах достигнуть того уровня точности аппроксимации нелинейной функциональной зависимости (аппроксимирующая кривая не в достаточной степени отслеживает изменение параметра), который показали соответственно НС2, НС3, НС7, НС8, НС10 и НС11 (таблица). Данное обстоя-

тельство может свидетельствовать о неоптимальности применения алгоритмов А1, А4, А5, А6 и А9 для обучения НС с рассмотренными характеристиками. В то же время НС, обученная при помощи алгоритма А1 (таблица) при прочих равных условиях, способна вполне удовлетворительно выполнять задачи прогнозирования (рис. 13), но это не означает, что все остальные алгоритмы лишены данной возможности. С большой долей вероятности можно утверждать, что задача прогнозирования, в отличие от задачи аппроксимации, является задачей более чувствительной к изменению параметров НС, в том числе и к изменению алгоритма обучения.

1.62г

(+) статистические данные 1.6-+ НС1 +

1.58^ + +

Рт/Рвх 1.56

1.54

14

500 1000 1500 2000 2500

наработка, ч

Рис. 2. График алгоритма обучения А1 1.62г

(+)статистические данные 16\ НС3 +

1.58 ♦

Рт/Рвх ^

1.56 *

1.54 + + + ; + +

1520 500 1000 1500 2000 2500

наработка, ч

Рис. 4. Г рафик алгоритма обучения А3

1.62г

(+) статистические данные

НС5

1.6

1.58

Рт/Рвх

1.56

1.54

152

500 1000 1500 2000 2500

наработ ка, ч

1.62

1.6

1.58

Рт/Рвх 1.56

1.54

1520

(+) статистические данные , НС2 -

500 1000 1500 2000 2500

наработка,ч

Рис. 3. График алгоритма обучения А2

Рис. 6. Г рафик алгоритма обучения А5

Рис. 5. Г рафик алгоритма обучения А4 1.62г

(+) статистические данные 1.6 НС6 +

1.58* +

Рт/Рвх 1.56

1.54 ++ ♦ + ' + +

1 520 500 1000 1500 2000 2500

наработка, ч

Рис. 7. График алгоритма обучения А6

1.62

1.6

1.58

Рт/Рвх 1.56

1.54

1.

(+) статистические данные НС7 +

520

Рис. 8. График алгоритма обучения А7

1.62

1.6

1.58

Рт/Рвх 1.56

1.54

500 1000 1500 2000 2500

наработка, ч

1.

(+) статистические данные НС8 +

520

500 1000 1500 2000 2500

наработка,ч

Рис. 9. Г рафик алгоритма обучения А8

1.62г

(+) статистические данные 1.6 НС9 +

1.58

Рт/Рвх

1.56

1.54

1.

52э

500 1000 1500 2000 2500

наработка, ч

1.62

1.6

1.58

Рт/Рвх 1.56

1.54

1.

(+)статистические данные НС10 +

Рис. 10. График алгоритма обучения А9

520 500 1000 1500 2000 2500

наработка, ч

Рис. 11. График алгоритма обучения А10

1.62г

(+) статистические данные

1.6

1.58

Рт/Рвх

1.56

1.54

НС11

1.62г 1.6

1.58

Рт/Рвх 1.56

1.54

(+) статистические данные

период

НС1 + прогнозирования

1.

52э

500 1000 1500 2000 2500

наработка, ч

1.

500 1000 1500 2000 2500 3000

наработка,ч

Рис. 12. График алгоритма обучения А11 Рис. 13. График алгоритма обучения А1 (прогноз)

Проанализировав представленные графики, можно сделать ряд предположений:

1. Для достижения уровня точности аппроксимации, достигнутого нейронными сетями № 1,

3, 5, 6, 7, 8, 9, 10, аналогичным по типу нейросетям, обученным с использованием алгоритмов А2 и А4, потребовалось в 5 раз больше циклов обучения.

2. Применение в качестве обучающего алгоритм А11 потребовало сокращения числа слоев в НС и некоторого увеличения числа нейронов в скрытом слое. Однако, несмотря на сокращение количества циклов обучения до 50, время, затрачиваемое на обучение НС, резко возросло.

Таким образом, можно предположить, что для рассмотренных типов НС наиболее предпочтительными с точки зрения повышения качества аппроксимации нелинейных функций являются алгоритмы обучения А2, А3, А7, А8, А10 и А11, а применение алгоритма А1 позволит получить прогнозирующую кривую, в некоторой степени отражающую поведение рассмотренного газодинамического параметра.

ЛИТЕРАТУРА

1. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика.-2-е изд. - М.: Горячая линия - Телеком, 2002.

2. Осовский С. Нейронные сети для обработки информации / Пер. с польского И. Д. Рудинского. - М.: Финансы и статистика, 2004.

3. Медведев В.С., Потемкин В.Г. Нейронные сети. МЛТЬЛБ 6. - М.: ДИАЛОГ -МИФИ, 2002.

THE INFLUENCE DIFFERENT METHODS OF TRAINING DIAGNOSTIC MODELS BASED ON THE NEURAL NETWORKS FOR EFFICIENCY TASKS SOLVED BY THEM

Rakov P.I.

In this article reduced some results of application different algorithms of training neural networks for solution tasks approximation and prediction of nonlinear functions.

Сведения об авторе

Раков Павел Игоревич, 1981 г.р., окончил МГТУ ГА (2004), аспирант кафедры двигателей летательных аппаратов МГТУ ГА, область научных интересов - рабочие процессы, конструкция и прочность авиационных двигателей, диагностика авиационных двигателей.