Мультистартовый субградиентный метод оптимизации в нестационарных условиях Текст научной статьи по специальности «Математика»

УДК 519.6:004.93

Г.Ю. ЩЕРБАКОВА, к.т.н., доц. ОНПУ, г. Одесса,

В.Н. КРЫЛОВ, д.т.н., проф. ОНПУ, г. Одесса,

О.В. ЛОГВИНОВ, к.т.н., доц. ОНПУ, г. Одесса

МУЛЬТИСТАРТОВЫЙ СУБГРАДИЕНТНЫЙ МЕТОД

ОПТИМИЗАЦИИ В НЕСТАЦИОНАРНЫХ УСЛОВИЯХ

Разработан и исследован мультистартовый субградиентный метод оптимизации в нестационарных условиях. Этот метод позволяет повысить помехоустойчивость и точность при низкой чувствительности к локальным экстремумам в процедурах принятия решений технического диагностирования в нестационарных условиях. Библиогр.: 21 назв.

Ключевые слова: субградиентный метод, оптимизация, нестационарные условия.

Постановка проблемы. При автоматизации технического диагностирования (ТД) необходимы методы, позволяющие повысить помехоустойчивость и снизить погрешность вычислительных процедур на базе оптимизации функционала качества с минимумом, дрейфующим под действием производственных факторов и времени t [1 - 3]

J(c,t) = Mx {Q(x,c,t)} , (1)

где J(c,t) - критерий качества; Q(x,c,t) - функционал вектора с = (съ cN) ; x = (xj, xM) - вектор случайных возмущений [4, 5].

Анализ литературы. Методы оптимизации в условиях дрейфа отличаются либо низкой помехоустойчивостью - итеративные регулярные методы, либо высокими помехоустойчивостью и погрешностью - субградиентные методы [6 - 11], реализуемые по схеме

c[n +1] = c[n] - y[n]g(c[n]), (2)

где c[n] - координата экстремума на итерации n; g(c[n]) - оценка субградиента; y[n] - шаг.

При ТД функционалы качества из-за условий формирования могут обладать многоэкстремальной поверхностью, потому для их оптимизации используют субградиентные методы. По реализации пробных шагов оценки субградиента различают детерминированные и стохастические методы с противоречивыми особенностями [6 - 13]. У детерминированных - высокая помехоустойчивость, переходя к усредненному функционалу от многоэкстремального, они сводят оптимизацию к одноэкстремальной, снижая точность [7]. У

стохастических методов ниже помехоустойчивость и скорость сходимости [14, 15]. Поэтому в качестве базового метода выбран метод оптимизации с повышенными помехоустойчивостью и пониженной погрешностью, разработанный авторами для стационарных условий [5]. На основе этого метода предложен метод оптимизации в нестационарных условиях.

Цель работы - разработка и исследование мультистартового субградиентного метода оптимизации в нестационарных условиях для повышения помехоустойчивости и снижения погрешности процедур оптимизации в ТД.

Метод оптимизации. Для ТД в стационарных условиях авторами предложен метод оптимизации с итерационной схемой [4, 5, 16, 17]

с[п] = с[п -1] - у[п]£ ат [п] Vс+ б(х[п], с[п -1], а[п -т]) . (3)

т=1

-а _

Здесь т [п]~с + Q(х[п], с[п -1], а[п - т]) — ВП реализации 0(х,е) по

т=1

сг, г = 1, ..., N; ат[п], т = 1,-а — компоненты вектора а[п] после дискретизации вейвлет-функции (ВФ).

Сначала для оценки субградиента используют свертку функционала с ВФ Хаара в окрестности, определяемой длиной ее носителя N . Это (из-за асимметрии функционала) позволяет достичь экстремума с погрешностью, для снижения которой при оценке субградиента

используют взвешенную сумму с ВФ ¥(г) = —, регуляризованной по

ах

лифтинговой схеме [18], с начальной точкой, определенной на предыдущем этапе. Если координата минимума отличается от результата предыдущего этапа не более чем на 5, поиск заканчивается, иначе — масштаб а увеличивается на 1. Таким образом, от оптимизации с помощью ВФ Хаара, обеспечивающей помехоустойчивость, переходят к оптимизации с помощью дифференциатора, обеспечивающего высокую

точность (если а , то — стремится к дифференциатору). На основе

ах

этого метода разработан метод оптимизации в нестационарных условиях, когда минимизируется функционал (1), тогда для искомого вектора е* [п]

с [п] = и(п, п -1,_, п - к, с [п — 1],__, с [п - к]), (4)

где и - нелинейное преобразование, определяющее характер "дрейфа", I = 0, _, к - количество с [п -1], учитываемых при его определении. При дрейфе экстремума (1), когда траектория растет не быстрее линейной, что часто в ТД [19], получим из (5) соотношения (6) и (7), которые с ростом п приближаются к (8) [4, 20], откуда с учетом (4) и (8), получим (9). Здесь а0 - неизвестная постоянная, Гф [п] - диагональная матрица.

с [п] = я1п + а0; (5)

& I ^ аЛ

с [п] = (1 +----)с [п -1]-----\; (6)

п -1 п -1

с* [п] = и(п, п-1, с* [п-1]) —а^; (7)

п-1

с * [п] = и(п, п -1, с * [п -1]); (8)

с[п] = и(п, п -1, с[п -1]) - Гф [п]Ус + Р(х[п], и(п, п -1, с[п -1]), п) . (9)

Таким образом, (9) позволяет проводить поиск оптимума в нестационарных условиях при ограниченной траектории ||с [п]|| < А < да при всех п. Для доказательства, что при п ^ да (9) сходится в

среднеквадратическом, то есть е 2[п] = м||с[п] - с [п]|| , предположим,

что существует оператор и (10) такой, что преобразование и удовлетворяет свойствам полугруппы (например, траектория дрейфа описывается обыкновенным дифференциальным уравнением [10])

а &

с (/) = и(/, /о, с (?о)) . (10)

да

При доказательстве используем лемму [4], где £ Ьп = да, 0 < Ьп < 1,

п=1

п

Иш Wn = W, и Нш Ък П(1 -Ь)Жк = ж где Ь„, -

п

последовательности действительных чисел и П (1 - Ь) = 1, и

I=к+1

предположим, что элементы матрицы Г[п] равны у[п], тогда

с[п] = и(п,п -1,с[п -1]) - у[п]Ус + Р(х[п],и(п,п -1,с[п -1],п)) . (11)

Теорема. Пусть выполнены условия:

1. х[п] - независимые случайные векторные величины.

2. М{

V + Р( х[п], с, п) - МУ + Р( х[п], с, п)

/ с} <ст2[п] +ст2[п|с - с* "

где с 2[п] и о2[п] дисперсии аддитивных и мультипликативных помех.

3.

МУ + Р( х[п],с,п)

< 52[п]||с - с' [п]|| .

и (п, п -1, с) - и(п,п -1, с [п]

4. а[п] <*------------- ----------------------------------—-^-1 <р[п].

с - с [п]

5. (с - с* [п],МУ + Р(х[п],с,п)) > 5[п] с - с* [п]|| , s[n] > 0.

6. 0 < Ь[п] = 1 - (1 + Р[п])2 + 2у[п]«[п](1+а[п]) - у2 [п](1 +р2 [п])( 52 [п] +а2[п]) < 1.

.да у 2[п]о,2[п]

7. V Ь[п] = да. 8. W[n] =------------------> 0 при п ^ да .

п=1 Ь[п]

9. е 2[0] = М||с[0] - с* [0]||2 < да; тогда м||с[п] - с* [п]|| ^ 0 при п ^ да . Доказательство. Из (10) и (11) согласно доказательству [4, 12]

II 1|2 II ||2

с[п] - с*[п]1 = 1и(п, п -1, с[п -1]) - и(п, п -1, с*[п -1]) +

+ У2[п]

- 2у[п](и(п, п -1, (12)

У + Р(х[п], и(п, п -1, с[п -1], п) с[п -1]) - и(п, п -1, с*[п -1]), Ус + Р(х[п], и(п, п -1, с[п -1], п)). Тогда, с учетом условий 1 - 5 теоремы из (12) имеем:

2

e2[n] < ((1 + ß[n])2 - 2y[n]s[n](1 + a[n]) + у2 [n](1 + + ß[n])2(S 2[n] + ст2[и])) s2[n -1] + у2 №?[«];

b[n] = 1 - (1 + ß[n])2 + 2y[n]s[n](1 + a[n]) =

= y 2[n](1 + ß[n])2(^ 2[n] + a2[n]));

Г[k] = l!ik]^M . (15)

b[k]

Итерируя (13) аналогично [4] с учетом условий 6 - 9 и леммы [4],

*

получим утверждение теоремы. Для сходимости c[n] ^ c [n] с

ад

вероятностью 1 достаточно, чтобы ^ у 2[n]c2[n] <да. Если вместо

n=1

y[n] использовать Г[п], то, для справедливости теоремы, условия 6 - 8 должны выполняться для элементов Г[п] , удовлетворяющих

min yv [n]

------------> u v при n , где u v - константы, такие, что 0 < uv < 1

Yv [n]

для всех v = 1, ..., N. Доказательство аналогично [4, 21].

Выводы. В работе исследована сходимость разработанного метода оптимизации в нестационарных условиях, позволяющего повысить точность и помехоустойчивость в процедурах принятия решений ТД [1].

Список литературы: 1. Щербакова Г.Ю. Статистический анализ технологических процессов на базе помехоустойчивой кластеризации в пространстве вейвлет-преобразования. / Г.Ю. Щербакова, В.Н. Крылов, С.Г. Антощук // Електромашинобудування та електрообладнання. - 2009. - Вип. 72. - С. 55-61. 2. Щербакова Г.Ю. Адаптивная кластеризация в пространстве вейвлет-преобразования / Г.Ю. Щербакова, В.Н. Крылов // Радіоелектронні і комп’ютерні системи. - 2009. - № 6 (40). - С. 123-127. 3. Хейсин В.Е. Итеративные процедуры минимизации в условиях дрейфа экстремума / В.Е. Хейсин // Автоматика и телемеханика. - 1976. - N° 11. - С. 91-101. 4. Цыпкин Я.З. Алгоритмы адаптации и обучения в нестационарных условиях / Я.З. Цыпкин, А.И. Каплинский, К.А. Ларионов // Техническая кибернетика. - 1970. - № 5. - С. 9-20. 5. Крилов В.Н. Субградієнтний ітеративний метод оптимізації в просторі вейвлет- перетворення / В.Н. Крилов, Г.Ю. Щербакова // Збірн. наук. праць Військ. ін-ту Київськ. нац. ун-ту ім.Т.Шевченка. - 2008. - Вип. 12. - С. 56-60. 6. Вахитов А.Т. Нестационарная стохастическая оптимизация рандомизированными алгоритмами в случае бесконечной дисперсии неопределенностей / А.Т. Вахитов // Стохастическая оптимизация в информатике. - 2009. - Вып. 5. - С. 24-39. 7. Катковник В.Я. Линейные оценки и стохастические задачи оптимизации. - М.: Наука. - 1976. - 488 с. 8. Катковник В.Я. Динамическая стохастическая аппроксимация полиномиальных дрейфов / В.Я. Катковник,

B.Е. Хейсин // Автоматика и телемеханика. - 1979. - № 5. - С. 89-98. 9. Ермольев Ю.М. О методе обобщенных стохастических градиентов и стохастических квазифейеровских последовательностях / Ю.М. Ермольев // Кибернетика. - 1969. - № 2. - С. 73-83. 10. Мелешко В.И. Динамическая оптимизация методом обобщенных квазиградиентов / В.И. Мелешко // Кибернетика. - 1975. - № 3. - С. 73-79. 11. Гупал А.М. Метод оптимизации в нестационарных условиях / А.М. Гупал // Кибернетика. - 1974. - № 3. -

C. 131-133. 12. Цыпкин Я.З. Адаптация и обучение в автоматических системах / Я.З. Цыпкин. - М.: Наука, 1968. - 400 с. 13. Поляк Б.Т. Оптимальные порядки точности поисковых алгоритмов стохастической оптимизации / Б. Т. Поляк, А.Б. Цыбаков // Проблемы передачи информации. - 1990. - Том. 26. - С. 45-53. 14. Поляк Б.Т. Введение в оптимизацию / Б.Т. Поляк. - М.: Наука. - 1983. - 384 с. 15. Панченко Т.В. Генетические алгоритмы // Т.В. Панченко. - Астрахань: Изд. дом "Астраханский ун-т". - 2007. - 87 с. 16. Щербакова Г.Ю. Исследование сходимости мультистартового субградиентного метода оптимизации в пространстве вейвлет-преобразования / Г.Ю. Щербакова, В.Н. Крылов // Наук. праці ДонНТУ. Сер. "Інформ., кіберн. і обчисл. техніка". - 2010. - Вип. 12 (165). -С. 162-168. 17. ПоляковаМ.В. Исследование субградиентного поискового метода адаптации в пространстве вейвлет-преобразования / М.В. Полякова // Тр. Одес. политехн. ун-та. - 2007.

- Вып. 1 (27). - С. 207-213. 18. Krylov V.N. Contour images segmentation in space of wavelet transform with the use of lifting / V.N. Krylov, M. V. Polyakova // Optical-electronic informatively-power technologies. - 2007. - № 2 (12). - P. 48-58. 19. Недоступ Л.А. Технологические методы управления качеством радиоэлектронных измерительных устройств / Л.А. Недоступ, Е.Т. Удовиченко, Г.А. Шевцов. - М.: Изд. станд., 1976. - 124 с. 20. Dupac V. A dynamic stochastic approximation method / V. Dupac // The Ann. of Math. Stat.-1965. - V. 36.

- № 6. - P. 1695-1702. 21. Гладышев Е.Г. О стохастической аппроксимации. / Е.Г. Гладышев // Теория вероятностей и ее применения. - 1965. - Т. 10. - Вып.2. - С. 27-31.

УДК 519.6:004.93

Мультистартовий субградієнтний метод оптимізації в нестаціонарних умовах / Щербакова Г.Ю., Крилов В.М., Логвінов О.В. // Вісник НТУ "ХПІ". Тематичний випуск: Інформатика і моделювання. - Харків: НТУ "ХПІ". - 2011. - № 36. - С. 197 - 202.

Розроблено та досліджено мультістартовий субградієнтний метод оптимізації в нестаціонарних умовах, який дозволяє підвищити завадостійкість і точність при низькій чутливості до локальних екстремумів в процедурах прийняття рішень технічного діагностування в нестаціонарних умовах. Бібліогр.: 21 назв.

Ключові слова: субградієнтний метод, оптимізація, нестаціонарні умови.

UDC 519.6:004.93

Multi-starting sub-gradient optimization method under no stationary conditions / Shcherbakova G. Yu., Krylov V.N., Logvinov O.V. // Herald of the National Technical University "KhPI". Subject issue: Information Science and Modelling. - Kharkov: NTU "KhPI". -2011. - № 36. - P. 197 - 202.

Multi-start sub-gradient optimization method under no stationary conditions is designed and investigated. This method allows noise stability raising, error, local extreme sensitiveness reducing in the procedures of the technical diagnostic under no stationary conditions. Refs.: 21 titles.

Key words: sub-gradient method, optimization, no stationary conditions.

Поступила в редакцию 16.06.2011