Влияние ряда параметров диагностических моделей, в основе которых лежат нейронные сети, на качество решаемых задач Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

НАУЧНЫЙ ВЕСТНИК МГТУ ГА серия Эксплуатация воздушного транспорта

УДК 629.735.03

ВЛИЯНИЕ РЯДА ПАРАМЕТРОВ ДИАГНОСТИЧЕСКИХ МОДЕЛЕЙ,

В ОСНОВЕ КОТОРЫХ ЛЕЖАТ НЕЙРОННЫЕ СЕТИ,

НА КАЧЕСТВО РЕШАЕМЫХ ЗАДАЧ

П.И. РАКОВ

Статья представлена доктором технических наук, профессором Чичковым Б.А.

В данной работе приведены некоторые результаты исследования влияния ряда параметров диагностических моделей, в основе которых лежат нейронные сети (НС), на качество решения ими задач аппроксимации и экстраполяции функциональных зависимостей.

Способность диагностических нейромоделей (НМ) качественно решать задачи аппроксимации и экстраполяции функциональных зависимостей будет в дальнейшем являться основой для решения главных задач диагностики авиационных газотурбинных двигателей (ГТД):

1. Определение текущего технического состояния двигателя;

2. Прогнозирование изменения технического состояния двигателя.

Основная задача состояла в том, чтобы выявить как сами параметры диагностических нейромоделей, влияющие на качество их функционирования, так и диапазоны их изменения, позволяющие применять эти параметры максимально эффективно.

Критерием в поиске эффективных параметров настройки НМ являлась ее чувствительность к изменениям этих параметров. Поиск же диапазона изменения этих параметров являлся задачей, представлявшей наибольшую сложность.

Дело в том, что совокупность параметров НМ максимально эффективна лишь в том случае, если каждый из ее параметров находится в определенном, иногда довольно узком диапазоне. А попытка очевидного, казалось бы, изменения какого-либо из параметров (группы параметров) приводит к потере эффективности всей НМ в целом. Так, например, увеличение числа нейронов в НС приводит к возрастанию ее мощи и, что логично предположить, должно повысить эффективность решения этой нейромоделью поставленных перед нею задач. Однако подобное увеличение числа нейронов может вызвать эффект переобучения НМ. Эффект переобучения имеет несколько отрицательных сторон:

1. Возрастание величины ошибки обучения, т.е. увеличение разницы между значениями целей (желаемые значения) и выходными значениями НС;

2. Так называемое «заучивание» нейросетью обучающей выборки статистических данных, что делает ее в дальнейшем не пригодной для применения на другой группе статистических данных.

Вышеприведенные утверждения справедливы и для такого параметра, как количество циклов обучения НС.

В данной статье основное внимание уделяется следующим параметрам НС:

1. Топология НС (рассматривались такие характеристики, как количество нейронов в слое и количество слоев в НС);

2. Количество циклов обучения НС;

3. Параметр регуляризации.

Не останавливаясь на подробностях алгоритма математических вычислений, стоит отметить лишь тот факт, что параметр регуляризации (далее параметр Я) препятствует появлению эффекта переобучения НС.

Выбор вышеуказанных параметров не означает, что все остальные параметры НС никоим образом не влияют на ее качество. Необходимо помнить, что все результаты, приведенные в данной статье, являются промежуточными.

Для наглядности сравнения результатов, полученных при изменениях этих трех параметров, все остальные параметры НС приняты за постоянные. Далее будет рассмотрено несколько НС с различным сочетанием указанных параметров, что позволит говорить об эмпирическом характере построения и настройки НС для решения конкретной задачи, а также позволит наглядно продемонстрировать возможности рассматриваемых параметров по оптимизации НС. Характеристики нейронных сетей с различными (относительно базовой НС) сочетаниями рассматриваемых параметров сведены в табл. 1 и 2.

За базовую была принята 8-слойная НС следующей топологии: [30]-[450]-[250]-[150]-[100]-[50]-[20]-(1), где значения 30, 450, 250 и т.д. означают количество нейронов в слое, а квадратные и круглые скобки указывают на вид функции активации нейронов в слое (сигмоидальная и линейная соответственно). Для базовой НС в качестве обучающего был выбран одношаговый алгоритм метода секущей.

Таблица1

Влияние поочередного изменения рассматриваемых параметров НС на величину ошибки обучения

№ п/п Номер НС Топология НС Число циклов обучения Параметр Я

1 НС №1 (базовая) [30]-[450]-[250]-[150]-[100]-[50]-[20]-(1) 500 0,999945

2 НС №2 [30]-[450]-[250]-[150]-[100]-[50]-[20]-(1) 700 0,999945

3 НС №3 [30]-[450]-[250]-[150]-[100]-[50]-[20]-(1) 500 0,999990

4 НС №4 [70]-[500]-[300]-[200]-[150]-[100]-[50]-(1) 500 0,999945

Таблица 2

Влияние совместного изменения рассматриваемых параметров НС на величину ошибки обучения

№ п/п Номер НС Топология НС Число циклов обучения Параметр Я

1 НС №5 [70]-[500]-[300]-[200]-[150]-[100]-[50]-(1) 700 0,999945

2 НС №6 [30]-[450]-[250]-[150]-[100]-[50]-[20]-(1) 700 0,999990

3 НС №7 [70]-[500]-[300]-[200]-[150]-[100]-[50]-(1) 500 0,999990

4 НС №8 [70]-[500]-[300]-[200]-[150]-[100]-[50]-(1) 700 0,999990

Было установлено, что как поочередное, так и совместное изменение рассматриваемых параметров в базовой НС приводит к изменению качества ее обучения, т.е. к изменению величины ошибки обучения. Графики изменения величины ошибки обучения представлены на рис. 3, а абсолютные значения данного показателя при варьировании рассматриваемых параметров приведены на рис. 1 и 2.

Следует отметить, что несмотря на довольно большое количество циклов обучения (500 и 700), приведенное в табл. 1 и 2, на рис. 3 этот параметр не превышает 180 циклов. Дело в том, что после 160 циклов обучения существенного изменения величины ошибки на графике не наблюдается.

Из графика, представленного на рис. 3, видно, что наиболее эффективными с точки зрения снижения величины ошибки обучения являются НС №3 и 6. Этот факт свидетельствует о достаточно высокой чувствительности НС к изменению параметра Я (с возрастанием величины Я ошибка обучения снижается), а также к совместному изменению числа циклов обучения и параметра Я. Результаты, показанные НС № 4 и 5, свидетельствуют не столько о слабом влиянии топологии (НС №4) или совместном влиянии топологии и количества циклов обучения

(НС №5), сколько о крайне остром взаимовлиянии топологии НС и параметра Я. НС № 2, 7 и 8 показали средние результаты, что подтверждает предположение о высокой степени взаимовлияния рассматриваемых параметров, что в конечном итоге существенно влияет на процесс создания и адаптации НМ к выполнению задач аппроксимации и прогнозирования изменения сложных функциональных зависимостей.

0,0009

к 0,0008

в ’

Ев

!Т 0,0007 ю

я 0,0006

и ю

Э 0,0005 я ’

о

§ 0,0004 я

•а 0,0003 0,0002 0,0001 0

Рис. 1. График абсолютных значений величины ошибки обучения (параметры представленных НС приведены в табл. 1)

0,0009

№

§ 0,0008 г

^ 0,0007 о

§ 0,0006

ю 8

§ 0,0005

я

§ 0,0004 г 8

2 0,0003

вэ

0,0002 0,0001 0

Рис. 2. График абсолютных значений величины ошибки обучения (параметры представленных НС приведены в табл. 2)

Однако, чтобы судить о том, насколько удачно подобраны параметры НС, одного графика изменения величины ошибки обучения недостаточно. Дело в том, что при снижении величины ошибки обучения не исключена вероятность появления эффекта заучивания нейросетью значений обучающей выборки. Необходимым является наличие графического представления разницы между значениями обучающей выборки, которая формируется из статистических данных (значения целей), и выходными значениями НС. Именно по этому графику и представляется наиболее возможным судить о качестве аппроксимации, а в дальнейшем и прогнозирования изменения функциональных зависимостей, что и будет являться необходимым условием при оценке эффективности диагностической НМ.

0,000769054

0,000241929

0,000187659

0,000142407

НС5 НС6 НС7 НС8

0,000783368

0,000241749 0,000240769

| | 0,000149642

НС1 НС2 НС3 НС4

^ Циклы обучения НС

Рис. 3. График изменения величины ошибки обучения при поочередном и совместном варьировании рассматриваемых параметров НС (параметры представленных НС приведены в табл. 1 и 2)

По результатам обучения, приведенным на рис. 3, были построены графики, приведенные на рис. 4 и 5. Для построения аппроксимирующих и прогнозирующих кривых, приведенных на рис. 4 и 5, были использованы статистические данные зависимости отношения давления газов за турбиной низкого давления (ТНД) к давлению воздуха на входе в двигатель (Рт/Рвх) от наработки.

Из данных графика, приведенного на рис. 4, следует, что, несмотря на значительное (в сравнении с другими НС) снижение величины ошибки обучения, НС №3 довольно слабо отражает поведение газодинамического параметра на участке после 1000 часов наработки ГТД. Аналогичная ситуация складывается и с НС № 1 и 2. Причиной подобного поведения диагностических НС, предположительно, является отсутствие оптимального соотношения между числом нейронов (числа нейронов оказалось недостаточно) и другими (установленными) параметрами НС. НС №4, которая характеризовалась довольно слабыми показателями обучения, напротив, продемонстрировала достаточно удовлетворительные результаты интерполяции на всем рассматриваемом диапазоне. Данный факт может свидетельствовать об изменении соотношения между рассматриваемыми параметрами в лучшую сторону.

На рис. 5 приведен график влияния совместного изменения исследуемых параметров НС на вид интерполирующей и экстраполирующей кривых. Из данного графика следует, что представленные на нем кривые, являющиеся результатом обучения НС № 5, 7 и 8, довольно удачно отражают поведение параметра Рт/Рвх на всем интервале наработки. Исключение составляет кривая, построенная с помощью НС №6, которая являлась лучшей среди рассмотренных НС по такому показателю, как величина ошибки обучения. Причинами такого поведения НС, предположительно, является все то же недостаточное количество нейронов для установленных параметров Я и количества циклов обучения.

В ходе исследований было замечено, что на качество интерполяции и прогнозирования, а также на величину ошибки обучения существенно влияет соотношение числа нейронов в НС и величины выборки статистических данных, следовательно, величина выборки в некоторой степени может влиять на подбор параметров НС. Существуют основания полагать, что для получения удовлетворительных кривых аппроксимации и прогнозирования в условиях увеличения величины статистической выборки возможны следующие мероприятия:

1. У величение числа нейронов в НС (время обучения может значительно возрасти);

2. Увеличение значения параметра Я (может отрицательно повлиять на прогнозирующую кривую);

3. Увеличение числа циклов обучения (время обучения может значительно возрасти).

наработка, ч

Рис. 4. График влияния поочередного изменения исследуемых параметров НС на вид интерполирующей и экстраполирующей кривых для Рт/Рвх (отношения давления за ТНД к давлению на входе в двигатель)

наработка, ч

Рис. 5. Г рафик влияния совместного изменения исследуемых параметров НС на вид интерполирующей и экстраполирующей кривых для Рт/Рвх (отношения давления за ТНД к давлению на входе в двигатель)

Важным является и тот факт, что из всех рассмотренных параметров НС лишь параметр R имеет довольно узкий диапазон изменения (см. табл. 1 и 2), позволяющий совместно решать задачи, поставленные перед диагностической НС наиболее эффективно.

Следует заметить, что графического представления прогнозирующих кривых для НС №1-8 на рис. 4 и 5 не было приведено по причине крайне слабого отражения ими изменения рассматриваемого газодинамического параметра.

На рис. 5 приведены некоторые результаты, которые были достигнуты подбором рассматриваемых параметров НС (НС №9 и НС №9(прогноз)). Приведенная 9-слойная НС имеет следующие характеристики:

- топология: [70]-[290]-[110]-[20]-[5]-[20]-[10]-[5]-(1), где значения 70, 290, 110 и т.д. означают количество нейронов в слое, а квадратные и круглые скобки указывают на вид функции активации нейронов в слое (сигмоидальная и линейная соответственно);

- алгоритм обучения: одношаговый алгоритм метода секущей;

- количество циклов обучения: 500;

- параметр R: 0,99999116.

На рис. 5 результаты применения вышеуказанной НС представляют собой две кривые:

1). аппроксимирующая кривая (НС №9);

2). прогнозирующая кривая изменения параметра Р„/Рвх (НС №9(прогноз)).

Как видно из графика (рис. 5), аппроксимирующая кривая, смоделированная НС №9, довольно точно отслеживает характер изменения параметра Рт/Рвх во всем диапазоне его изменения. В то же время кривая прогноза изменения вышеуказанного параметра (НС №9 (прогноз) на рис. 5) приближается к целевым значениям еще больше. Наблюдаемую разницу в поведении двух кривых представляется возможным объяснить тем, что для построения аппроксимирующей кривой в качестве обучающей выборки для НС №9 был использован весь диапазон значений параметра Рт/Рвх, в то время как прогнозирующая кривая строилась с использованием той же НС, но обученной на меньшей величине выборки (величина выборки была уменьшена на величину интервала прогнозирования).

Полученные результаты дают основания сделать предположение о том, что такие параметры НС, как топология, количество циклов обучения и параметр регуляризации, существенно влияют на качество решаемых диагностической нейронной сетью задач. А динамический подбор оптимального соотношения этих параметров позволяет выполнять аппроксимацию и прогнозирование изменения параметров функциональных зависимостей с удовлетворительной точностью.

ЛИТЕРАТУРА

1. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика.-2-е изд. - М.: Горячая линия - Телеком, 2002.

2. Медведев В.С., Потемкин В.Г. Нейронные сети. MATLAB 6. -М.: ДИАЛОГ-МИФИ, 2002.

POSSIBILITIES OF SOME BASED ON THE NEURAL NETWORKS DIAGNOSTIC MODEL’S PARAMETERS TO INFLUENCE ON THE SOLVED TASK’S QUALITY

Rakov P.I.

This article contains some research’s results of influence some parameters of diagnostic models based on the neural networks (NN) on the quality task’s decision interpolation and extrapolation functions by NN.

Сведения об авторе

Раков Павел Игоревич, 1981 г.р., окончил МГТУ ГА (2004), аспирант кафедры двигателей летательных аппаратов МГТУ ГА, область научных интересов - рабочие процессы, конструкция и прочность авиационных двигателей, диагностика авиационных двигателей.