CC BY
23
УДК 681.5; УДК 004.021
ОПРЕДЕЛЕНИЕ ОПТИМАЛЬНЫХ ПАРАМЕТРОВ НЕЙРОННОЙ СЕТИ ПРИ ПОСТРОЕНИИ МАТЕМАТИЧЕСКИХ МОДЕЛЕЙ ТЕХНОЛОГИЧЕСКИХ ПРОЦЕССОВ
ГАВРИЛОВ А.И., канд. техн. наук, ЕВДОКИМОВ П.В., асп.
Рассматривается построение прогнозирующих моделей динамических объектов для решения задачи мониторинга технологических процессов с помощью самоорганизующихся карт Кохонена с использованием двухуровневой нейросетевой структуры, в которой нейронам на первом уровне ставятся в соответствие локальные математические модели на втором уровне. Приводится подход по нахождению оптимальных параметров алгоритма обучения самоорганизующихся карт на основе определения фрактальной размерности временного ряда. Показаны результаты работы алгоритмов на примере технологического процесса аргоно-дуговой сварки.
Ключевые слова: математическая модель, нейронная сеть, нейросетевая модель, фрактальная размерность.
NEURAL NETWORK OPTIMUM PARAMETERS DETERMINING UNDER INDUSTRIAL PROCESS MATHEMATICAL MODEL CONSTRUCTION
A.I. GAVRILOV, Ph.D., P.V. EVDOKIMOV, postgraduate
This paper is devoted to the run-time object forecasting model construction in order to solve the problem of industrial process monitoring by means of self-organizing Kokhonen's boards, using two-level neuronet structure, in which neurons on the first level correspond to local mathematical models on the second level. There is the approach for finding optimum parameters of self-organizing board training algorithms, which is based on time series fractal dimension determining. There are also the results of algorithms operating on argon-arc welding industrial process sample.
Key words: mathematical model, neural network, neuronet model, fractal dimension.
Задача построения прогнозирующих моделей динамических объектов на основе нейронных сетей приобретает все большую актуальность как в теоретическом, так и в прикладном отношениях. Одним из эффективных подходов к решению этой задачи является применение нейронных сетей Кохонена [1], на основе которых строится нейро-регрессионная модель динамического объекта. Классический алгоритм, предложенный Кохоненом и использованный в дальнейшем в работах Simula O., Alhonemi E., Hollmen J. [2], использует, как правило, двухмерные (реже трехмерные) прямоугольные и гексагональные решетки.
Ниже предложен алгоритм, позволяющий определять оптимальные параметры нейронной сети n-мерной топологии на основе расчета фрактальной размерности пространства состояний динамического объекта. Разработано программное обеспечение, реализующее данный алгоритм и проведена верификация модели на примере процесса аргоно-дуговой сварки.
Будем использовать свойство Карт Кохонена классифицировать векторы, характеризующие параметры динамического объекта (входные векторы), в группы схожих. Это достигается с помощью такой подстройки весов карты Кохонена, что близкие входные векторы активируют один и тот же нейрон. Обучение при этом заключается не в минимизации ошибки (как в случае алгоритма обучения с «учителем» для других типов сетей), а в подстройке внутренних параметров нейросети (весов) для наибольшего совпадения с входными данными.
Подстройка параметров нейронов проводится на основе алгоритма обучения сети Кохонена [1]: mi (t +1) = mi (t) + a (t) hd (t) [x (t) - mi (t)], (1)
где 1т, I = 1...П, - «нейроны» карты (синаптические весовые вектора); Иы^) - симметричная невозрас-тающая функция, определенная вокруг тс (нейрона -«победителя»), которая задает форму и размер области обучения; а^) - коэффициент обучения (убывающая функция времени).
Для увеличения точности прогнозирования применяется двухуровневая структура (рис. 1) на основе самоорганизующейся карты и локальных математических моделей. При этом активация нейрона означает выбор связанной с ним математической модели [3, 4], являющейся адекватной состоянию системы.
Карта Кохонена
Гх ^
О о
о о
Локальные модели
Рис. 1. Структура построения локальных моделей на основе карт Кохонена
Размер сети выбирается на основе свойства самоорганизующихся карт разбивать входные векторы на группы со схожими параметрами, что позволяет применить различные методы аппроксимации в подобластях пространства состояний, примыкающих к каждому нейрону. В результате этого процедура построения локальных математических моделей значительно упрощается. В качестве метода аппроксимации каждому нейрону ставится в соответствие линейная регрессионная модель. Для
оценки точности используется математическое ожидание и дисперсия ошибок прогнозирования
81 = У1 - У\ для каждой локальной модели (у, - измеренное значение, У| - спрогнозированное значение). В качестве критерия оптимальности принимается минимум глубины вектора регрессора, при котором математическое ожидание и дисперсия попадают в заданные пределы: N
(2)
M (в) = - Vsj;
1 N 2 D (s)=N - M («O)2.
(3)
i=1
На основе значений функций (2), (3) оценивается вероятность прогнозирования характеристики системы в заданных пределах.
В качестве примера используется модель системы оценки качества процесса аргоно-дуговой сварки. Исследуются параметры сварки стыковых односторонних сварных соединений без разделки кромок с полным проплавлением [5]. Обучающее множество строится на основе экспериментальных данных, полученных в процессе функционирования системы. Экспериментальными данными модели являются: сварочный ток; скорость сварки; температура поверхности свариваемой пластины в околошовной зоне за сварочной дугой; суммарный световой поток от сварочной дуги в инфракрасном и видимом диапазоне. На основе экспериментальных данных строится входной вектор (х-|, ..., Хп) модели ( рис. 1).
Расчетным параметром для оценки качества является ширина сварного соединения на обратной стороне пластины (Ь) [5]. Данный параметр достаточно информативен, так как позволяет выявить возможность появления большого числа опасных для сварного соединения дефектов: непровар, прожог, отклонение от заданной геометрической формы поперечного сечения шва и т.д. Следует отметить, что во многих случаях непосредственное измерение этого параметра как в процессе сварки, так и после нее не представляется возможным, например, из-за конструктивных особенностей сварного соединения (трубы, цистерны и т.п.).
Следует отметить, что адекватность модели во многом зависит не только от удачного выбора физических (измеряемых) параметров, но и от размерности весовых векторов сети и векторов обучающего множества. Для построения векторов обучающего множества использована одна из геометрических характеристик множеств в фазовом пространстве -размерность, характеризующая сложность динамической системы. Эта характеристика позволяет определить минимальное количество переменных, которое должна включать соответствующая математическая модель. В некоторых случаях можно ограничиться оценкой этой величины (как правило, снизу). Особенностью размерности является то, что это одна из немногих характеристик, которую можно оценить по временному ряду, получая оценку размерности динамической системы непосредственно по экспериментальным данным [6, 7].
В работе используется алгоритм расчета фрактальной размерности аттрактора по временному ряду, позволяющий оценить минимальное число существенных динамических переменных С^ необходимых для описания наблюдаемых процессов. В
(S-I|xi -Xj
- какая-либо
соответствии с теоремой Такенса определяется размерность фазового пространства d = 2df + 1, в котором траектория движения системы не содержит точек самопересечения. В этом случае каждый нейрон гарантировано описывает уникальное состояние системы.
Таким образом, на основе статистического набора данных динамического объекта (временной ряд) проводится оценка размерности фазового пространства системы.
Предлагается следующий алгоритм определения параметров модели динамических объектов:
1. Разбиваем область фазового пространства, в которой лежат анализируемые вектора, на подобласти радиуса 5 (0< 5min < 8 < 5max, где 5min, Smax - минимальное и максимальное расстояния между входными векторами) и подсчитываем, сколько кубиков накрывают все известные нам точки. Для заданной размерности p вектора обучающего множества xi рассчитываем значение корреляционного интеграла C(p)(S):
1 N N
C (5)= lim -1 YYl(
14 i=1 j=1
где 1(x) - функция Хевисайда;
норма (в нашем случае Евклидова). Здесь двойная сумма определяет число пар xi и xj, расстояние
||xi - xj между которыми не превышает 5. В качестве xi берется вектор, описывающий положение точки xi = x(ti) в фазовом пространстве в момент времени ti, где ti = to + iT, i,j = 1,2,...,N, T - некоторый заданный промежуток времени, N - количество измеренных значений.
2. Вычисляем C(p)(S) для различных 5 и по полученным данным оцениваем размерность. При малых 5 корреляционный интеграл C(5) ~ 8dfC [7], поэтому корреляционную размерность dfC можно определить по наклону зависимости ln C(5) от ln 5. Другими словами, корреляционную размерность dfC можно определить как
н г lnC (5)
d fC = lim-
In 5
Так как при малых 5 корреляционный интеграл C(p)(5) должен вести себя как ~ 5dfC , то оценивание dfC по полученным данным сводится к следующим действиям:
- нахождению «наиболее линейного» участка зависимости In C(p)(5) от In 5;
- построению на этом участке линейной аппроксимации вида In C(p)(5) = bIog5 + c по методу наименьших квадратов (в качестве оценки dfC берется -b);
- перебору значения p = 1,., pmax и построению зависимости dfo от p (кривая Паккарда-
Такенса). Как только зависимость достигает «насыщения» (перестает расти), это значение принимаем за dfC.
С ростом величины p (размерность вектора обучающего множества) корреляционная размерность dfC увеличивается. Если в рассматриваемом
временном ряде есть проявление детерминированного хаоса, то, начиная с некоторого p = p0, величи-
на СС перестает расти. Достигнутое при этом значение принимается за размерность Сю аттрактора исходной системы. Если же рост продолжается без насыщения, то это свидетельствует о том, что наблюдаемый сигнал шумовой. Конечное значение Сю означает, что рассматриваемый сигнал можно воссоздать с помощью детерминированной системы.
Подробная блок-схема алгоритма расчета фрактальной размерности изображена на рис. 2.
3. С помощью теоремы Такенса определяем размерность фазового пространства системы d = 2^ + 1.
4. Определяем число измерений пространства топологии сети Кохонена - 2 < dт = df.
5. Число нейронов N сети по каждому измерению в пространстве топологии определяется из
следующих соображений: N < ^ , где N1 - число
элементов пространства входов, а [••■] - взятие
целой части числа.
6. Формируем пространство входов размерностью d.
7. Формируем модельную структуру с параметрами: глубина вектора регрессии - d; размерность топологии сети Кохонена - dт; число нейронов по каждому измерению топологии сети Кохонена - N.
Задаем p = 1
На значениях входного множества формируем вектора размерности p
1 г
Задаем радиус подобласти 5 = 5min
г
1
Для заданных значений p и 5 рассчитываем значение корреляционного интеграла 1 N N
C (5)= lim -1 yyi(5-||x: - ж. V ' N^*> N2 tj 1 11 i J
Находим наиболее линейный участок в зависимости 1п С(5) от 1п 5 и находим ее наклон с|С с помощью метода наименьших квадратов
Строим зависимость С(С от р и находим значение насыщения С«с (когда СС перестает расти)
Найденное значение Су = Сю является фрактальной размерностью пространства входов
Рис. 2. Блок-схема алгоритма расчета фрактальной размерности © ГОУВПО «Ивановский государственный энергетический университет имени В.И. Ленина»
8. Проводим обучение сети Кохонена в соответствии с итерационной процедурой (1).
9. Для каждого нейрона (или для каждого кластера) строим линейную регрессионную модель.
Результат расчетов по изложенному выше алгоритму для процесса аргоно-дуговой сварки приведен на рис. 3. Полученная кривая Паккарда-Такенса показывает, что фрактальная размерность временного ряда измеренных значений Cf = 5, а следовательно, размерность фазового пространства системы (в соответствии с алгоритмом) С = 11.
На рис. 4 приводится сопоставление прогнозируемых (расчетных) данных ширины сварного шва с данными натурных наблюдений.
Для выбранной модели показатели качества имеют значения:
М = 1,2-10-4;
О = 0,060402.
Предложенная нейросетевая модель для оценки геометрии сварного соединения позволяет прогнозировать (в том числе и оперативно) с достаточной точностью параметры сварного соединения на основе 4 информационных сигналов и при наличии большого числа разнообразных возмущающих воздействий на процесс сварки.
Рис. 3. Кривая Паккарда-Такенса, полученная на основе обработки экспериментальных данных для процесса аргоно-дуговой сварки (кафедра «Технологии сварки и диагностики» МГТУ им. Баумана)
Рис. 4. Прогнозируемый показатель качества
В случаях, когда использование теоретических моделей для обработки большого набора информационных сигналов представляется как весьма затруднительным, так и малоэффективным, формальные ней-росетевые модели с регрессионным входом, оперирующие с большим числом информативных сигналов, могут эффективно применяться для решения данной проблемы и не имеют существенных ограничений по области применения. Предложенный подход позволяет обоснованно подбирать параметры карты Кохонена и определять глубину вектора регрессии.
Разработанные и исследованные в работе ней-росетевые методы идентификации динамических объектов могут быть использованы при создании алгоритмического обеспечения и технических средств информационно-вычислительных комплексов моделирования систем управления нелинейными процессами при отсутствии достаточного объема априорной информации. Полученные нейросетевые модели технологического процесса дуговой сварки могут быть использованы как в системе мониторинга геометрических параметров сварного шва, так и в контурах систем автоматического управления.
Список литературы
1. Kohonen T. Self-Organization and Associative Memory. - New-York: Springer - Verlag, 1988.
2. Simula O., Alhonemi E., Hollmen J. Process Monitoring and Modeling Using the Self-Organizing Map // Integrated Computer-Aided Engineering , IEEE. - 1999. - № 6(1). - P. 3-14.
3. Гаврилов А.И., Евдокимов П.В. Применение сетей Кохонена в задачах автоматизированного структурирования и анализа информации: Тр. V Междунар. симпозиума «Интеллектуальные системы», г. Калуга, 2002 г. -М.: МГТУ им. Н.Э. Баумана, 2002. - С. 315-317.
4. Евдокимов П.В. Нейросетевые прогнозирующие модели динамических объектов: Тр. II Междунар. конф. «Моделирование устойчивого регионального развития», г. Нальчик 2007 г. - Изд-во КБЦН РАН, 2007. - С. 209-212.
5. Гладков Э.А. Автоматизация сварочных процессов. -М.: МВТУ им. Н.Э.Баумана, 1976. Часть I, II.
6. Чуличков А.И. Математические модели нелинейной динамики. 2-е изд., испр. - М.: ФИЗМАТЛИТ, 2003.
7. Малинецкий Г.Г., Потапов А.Б. Современные проблемы нелинейной динамики. Изд. 2-е, исправл. и доп. -М.: Едиториал УРСС, 2002.
Гаврилов Александр Игоревич,
Московский государственный технический университет имени Н.Э. Баумана, кандидат технических наук, кафедра информатики и систем автоматического управления, телефон (495) 410-98-06, e-mail: [email protected]
Евдокимов Петр Валерьевич,
Московский государственный технический университет имени Н.Э. Баумана, аспирант кафедры информатики и систем автоматического управления, телефон (495) 410-98-06, e-mail: [email protected]
