CC BY
57
Информационные технологии и безопасность
УДК 621.326
С. Г. Свистунов, Ю. И. Никифоров
ОБ ОДНОМ АЛГОРИТМЕ СТОХАСТИЧЕСКОЙ ОПТИМИЗАЦИИ
В статье предложен модифицированный вариант адаптивного стохастического алгоритма. Описано доказательство сходимости метода. Показано преимущество алгоритма относительно исходного.
стохастический квазиградиент, адаптивный алгоритм, оптимизация, сходимость алгоритма.
Введение
Для решения многих задач требуется определить точку минимума функции регрессии, например при оценке вероятностей тех или иных событий. В работе [1] приведен эффективный алгоритм определения минимума функции регрессии, который является адаптивным и позволяет быстро достигать окрестностей минимума функции регрессии. Это свойство выгодно отличает его от классических алгоритмов стохастической аппроксимации Роббинса-Монро.
Использование этого алгоритма требует выполнения достаточно трудоемких вычислений оператора, а именно скалярного умножения векторов и возведения в вещественную степень. При обработке информации в реальном масштабе времени желательно избегать использования подобных операций и заменять их более простыми (менее трудоемкими), а именно: умножение заменить логической операцией, для этого необходимо представить информацию не в виде многоразрядных двоичных чисел, а в виде вероятности появления 0 либо 1 [2]. Возведение в вещественную степень можно заменить возведением числа 2 в целую степень. Тогда операция возведения в степень заменится простой операцией сдвига. Исходя из сказанного предлагается модифицированный вариант адаптивного стохастического алгоритма.
Основные обозначения
ЛПКВ - линейный преобразователь код-вероятность [2];
СКГ - стохастический квазиградиент [1];
U+ - функция Хевисайда;
п.н. - почти наверное (с вероятностью 1);
Ms [•] - условное математическое ожидание;
ISSN 1815-588 X. Известия ПГУПС
2008/3
Информационные технологии и безопасность
235
|| - евклидова норма в Rn ;
д/ - субдифференциал функции /;
px - оператор проектирования точки на множество Х;
Z - множество целых чисел;
R - n-мерное вещественное пространство;
U[0, c] - равномерный закон распределения вероятностей в интервале [0, с]; s - номер шага итерации;
(у) - скалярное произведение векторов;
f (x) - обобщенный градиент функции fix); ent - функция выделения целой части числа;
|(x, у)| < | XU • || у|| - неравенство Шварца;
V - оператор Гамильтона (набла).
1 Алгоритм стохастической оптимизации
Как показано в [2], на выходе ЛПКВ имеется вектор случайных величин ps (=1 ^.^РПX где К= sign(xs)и+ (|-as), к = n, и 5k - составляющие СКГ на шаге итерации, который является исходной информацией; as - равномерно распределенные случайные числа в диапазоне от 0 до c = 21. Вектор уs = фs будет СКГ. В основу модернизированного алгоритма стохастической оптимизации положены теоремы 1 и 2, а в качестве исходных данных будет СКГ уs, основание степени a = 2 и вместо вещественной степени берётся её целая часть по функции ent. Везде далее рассматриваются случайные события ю eQ, где (Q, F, Р) - вероятностное пространство.
Теорема 1. Пусть /(X) - выпуклая (возможно, негладкая) функция,
заданная на выпуклом компактном множестве X с Rn. Функция удовлетворяет условию Липшица на Х.
< с2 п.н.
ZS с2
1, r\ r\ О II *>2 ..,max x - y = с1 и x,y eX,
x, yeX
и bs ® 0 п. н. при s ® ¥, p > 0,
s = f\ Г\ Г\ о тогда с вероятностью 1 все
предельные точки последовательности {xs} (задаваемые соотношениями: Xs+| = пx (xs -Psxs), ps = min{p, pa",Dx‘>-Ps} и
ISSN 1815-588 X. Известия ПГУПС
2008/3
Информационные технологии и безопасность
M[X5 /Fs] = MsXs edf (xs) + bs, s = 0,1,..., где s - алгебра Fs, определяется случайными величинами (x°, X°,..., Xs 1, Xs 1,Xs) и
Zs = Xs - fx (Xs), где fx (Xs) Edf (Xs), MsXX f (Xs) + bs принадлежат множеству X {x e=X : f (x) = min f (y)}. Доказательство теоремы
yEX
приведено в [1].
2 Сходимость модифицированного варианта адаптивного стохастического алгоритма
Теорема 2. Пусть f (x) - выпуклая (возможно, негладкая) функция,
заданная на выпуклом компактном множестве X с Rn. Функция удовлетворяет условию Липшица на Х.
Если выполняется:
max x - у = а; (1)
X, уЕХ Xk £ c = 2 п.н. 1eZ , к = 1,..., n; (2)
M s Xs = f (Xs), (3)
где f (Xs)Edf (Xs),Xs gs -f(Xs), (4)
где gk= csign(Xk)u+(XI -aT k = U.n, (5)
as e U [0, c], S>0, (6)
то с вероятностью 1 все предельные точки последовательности {xs} (задаваемые соотношениями:
Xs+1 =px(Xs -2“'(r)gs) s = 0,1,..., (7)
где r+ = min{q0,r,- < f+\ Ax‘+1 > -S2“,(r)}, (8)
qo > 0, r0 = 0, Dxs+1 =xs+1 - xs) (9)
принадлежат множеству
X' {x* e=X : f (X) = mm f (у)}. yEX
Для доказательства теоремы необходимо доказать Следует отметить, что из (5) следует: несколько лемм.
ISSN 1815-588 X. Известия ПГУПС
2008/3
Информационные технологии и безопасность
237
У
S
п. н.
(10)
Обозначим рs = 2ent(rs).
¥
Лемма 1. Выполняется соотношение £2е1,1(Г) = ¥ п.н.
s=0
Доказательство. Предположим противное, т. е. существует константа
¥
к, для которой вероятность события A = (ю : £2ent(rs) £ к} больше 0, т. е.
s=0
Р(A) > 0. Из (7), (8), (9), (10) имеем (по неравенству Шварца [3] и свойствам оператора проектирования pх [4]):
Г+1 2: min(?0, Г
У
s +1
Ax
s +1
52ent( r)) > min(q0, rs
2oent( Ts)
c^1
52ent( r)) >
min(q(
0> Ts
C32
ent( Ts )'
п. н., где c3 = (c2 + 5) > 0. Тогда для элементарных событий ше A имеем (т. к. г0 = 0):
Ts+1 > min(q0 ,-c3 £ 2ent (r)) > min(^0 ,-c3k).
i=0
(11)
Таким образом получим, что 2Ts+1 > min(2q0,2~ck) > 0
2 's+1 = 2ent ('s+1)+As+1, где -1 <A s+1 < 1. Следовательно,
2ent<£+0 > 2-As+1 min(2q0,2-C3k) > 0.5min(2q0,2-c3k) > 0, что противоречит
¥
соотношению £ 2ent(г) £ к о сходимости ряда, т. к. общий член ряда не
s=0
стремится к 0.
Лемма 2. Выполняется соотношение
¥
£ M 22“" Г1 <¥ п.н
s=0
Доказательство. Покажем, что при фиксированном значении s значение случайной величины ys+1 = rs+1 + f (xs+1) ограничено на X. По (1) и условию Липшица [5] существуют с4 и с5 такие, что
с4 £ f (xs+1) £ с5 для "х е X. Из (8) следует, что rs+1 <qQ. Из (11)
min(q0,-с3£pi) £ rs+1, что и доказывает это утверждение. Следовательно,
i=0
существует Mrs+1 по свойству интеграла Стилтьеса для функции ограниченной вариации [6], [7]. Из (4), (8), учитывая определение
ISSN 1815-588 X. Известия ПГУПС
2008/3
Информационные технологии и безопасность
градиента выпуклой функции [8] и свойства операции проектирования [4], получим
^ £ r ~(уЬх‘") - 8р„ < г, + f () - f (x"1) - (Zs+1, Ax"1) - 6p,. Из (2.3), (2.4), (2.7) будет следовать, что Ms+1 / Z s+', Дх5+Л =
= M,+'((f" -f(O),nx(xs -PYs)-X) = 0, т. к. у"1 СКГ.
Следовательно, используя свойства условного математического ожидания [9], получим
м,+'У,+1 < y, -dP,. (l2)
s+' / 2Mrs+' ограничена для Vs. В случае конечного rs+1 это
Величина 2r утверждение очевидно. По (8)
rs+1 < q0, значит остался случай, когда
ч+1
® -¥ при s . При rs+1 ® -¥ для достаточно больших s имеем:
r,+i = r, - (уs+1,Dxs+') - 5p,, где p, = Tnt(rs) ® 0 при rs+i ® -¥. Из (1), (7), (8X
(9), (10), используя неравенство Шварца и свойства оператора
проектирования p
x ’
< rs+1 < rs +
г
.s+1
A x
получим,
s+1
что
- Sp
rs -
или
У
,s + 1
Ax
s + 1
- dp.
<
rs - C 2 p
- Sps <
< rs+1 < rs + c22ps - Sps и r - c3ps < rs+1 < r + ^ps, где c3 > 0. Мошэтим
zs = r - c3ps и Z = r + CT,. Тогда z - +1 < r+i - +1 < ts - Mr s+1
п.н. Mrs+1
величины
интеграла
: J zdFt+1(z), где Fs +1 (z) - функция распределения случайной
zs
rs+1. Используя формулу интегрирования по частям для Стилтьеса и по теореме о среднем, имеем
Mrs+1 = zFs+1( z )
ls
JF=+1(z)dz fs - (fs - ^)m, где 0<m<1
Таким образом: -(у - zs)(1 - ц) < rs+1 - Mrs+1 < (у - zs)m,
ts - zs =rs + c3ps - rs + c3ps 2c3ps и т. к. предположили, что ps ® 0 при s , по известной теореме из анализа получим lim(rs+1 - Mrs+1) = 0 и,
следовательно, lim(2rs+1/2Mrs+1) = 1, т. е. величина 2rs+1 Mrs+1 ограничена;
ISSN 1815-588 X. Известия ПГУПС
2008/3
Информационные технологии и безопасность
239
для "х имеем е > 0: —м— £ 1. Поскольку 2 s = 2
Ts _ lent(rs )+As
2 s e
получим, что
1 > I. > o,5p
e 2'
MT
e2
MT
, где -1 < As < 1, то
(13)
Из (12), (13) имеем, т. к. 5> 0:
^ 0,55 р2
Ms+1 ys+1 < y,-----п. н.
_ ъМт,
e 2 s
(14)
Берем математическое ожидание от обеих частей неравенства и получаем
w w 0,55Mp2 ^ ^ ,
Mys+1 < Mys----мг^. Переходя к экспоненциальной форме записи,
e2 Mt
получаем
_ 0.55Mp2
)Mys+1 < 2My, . 2 e2Ms
(15)
Пусть z =
0,55Mp S
e2
Mt, 5
очевидно, z > 0. Так как из (8)
ps = 2ent(Ts) <=ent(q0) p, с учетом (13) получим 0 < z < 5p . В силу
_ 1 _ 2_dp
выпуклости функции 2 z имеем, что для в =--------------=— выполняется
dp
неравенство 1 _ Pz > 2_z. В этом случае из соотношения (15) получим, что
(16)
2му,+1 < 2му* (1 р =,5dM p,) 2му,
P0,5Sc6Mp2
e2
где Сб = inf 2f(x), а y, = ts + f (xs).
xeX
Суммируя неравенство (16) при i = 0,...,s, имеем:
омуs+1 < 2мУ0 _ 0,5P5ci
■Z M p;
____6 X 1 л ^2
e i=0
0 < 2Mys+1 = 2MTs+1+Mf (x ), но rS+1 < q0 и c4 < f (x) < c5 т. е. 2
мУ,+1
xeX
ограничена. Константа
0,5в5Сб
> 0, окончательно получим:
о
c0 ^ Mp2 < 2My0 _ 2Ms+1 < +¥, что и доказывает лемму 2.
i=0
Следствие. Выполняется ps ® 0 и Ts ® _¥ при s ® ¥ п.н.
T
e
ISSN 1815-588 X. Известия ПГУПС
2008/3
Информационные технологии и безопасность
Лемма 3. Выполняется lim(p^_1 / рs) = 1 п.н.
s—¥
Доказательство. Из (8) следует (т. к. rs — -¥ п.н.), что почти для каждого элементарного события ю eQ найдется такой номер S (ю), что при s > S (ю) имеем
rs+1 = rs +Ar=
(17)
Из (7) имеем, что Dxs+1 = xs+1 _ xs =px (xs _ psуs) _ xs. Используя неравенство Шварца и свойства оператора проектирования на выпуклое множество X, получим:
Д = _(ys+‘, дт+1) _sp,
<
g
s+1
px (xS _Ps YS ) _ xS +dPs < c2ps +dP= СзРs ,
где c3 > 0. (18)
Так как ps — 0 при s — ¥, то для достаточно больших s будет |Д rs| << 1 т. е. rs e R.
Р s-1 = 2ent(rs_1)_ent(rs_1 +Drs-1 )
Ps ’
Функция ent(r) - неубывающая и непрерывная в точках r £ Z, поэтому
2ent(rs-1)-ent(rs-1 +c3Ps-1) < Рs-1 < 2ent(rs-1)-ent(rs-1 -c3)
_ P s _
Из леммы 2 следует, что
p s-1 — 0 при s — ¥, переходя к пределу, получим
1 < lim(Ps-1/ ps) < 1 при r £Z. (19)
s——¥
Поскольку rs = rs-1 + Drs-1 и из (18) следует, что Drs-1 —0, а из леммы 2 rs-1 — —¥ при s ——¥, то rs-1 e R и множество Z с R будет множеством меры нуль, поэтому получим lim(Ps-1 / рs) = 1 п. н.
s—¥
Под алгоритмом понимается правило построения последовательности точек {xs}, принадлежащих некоторому множеству XcR”. Считается заданным некоторое множество решений X с X. Алгоритм называется сходящимся, если выполняется lim d (Xs, X) = 0, где
s—¥
d (xs, X*)
inf
seX
=X
- X .
Теорема 3 [1]. Пусть выполняются следующие условия.
A1. Существует компактное множество X такое, что с вероятностью
A2.
1 {xs (w)} cX.
$w : X — R - непрерывная функция.
ISSN 1815-588 X. Известия ПГУПС
2008/3
Информационные технологии и безопасность
241
A3. Если существует такое событие B cW, что P (B) > 0 и для всех we B существует подпоследовательность {х1к (w)(w)},
сходящаяся к точке x'(w) такой, что d(x'(w),X*) > 0, то для любого e > 0 существует подпоследовательность индексов {vk(w)} такая, что хxc Ue(x'(w)) для 1к(w) <t<vk(w) и
lim w( xVk (w)(w)) < w( x'(w))
к
A4.
A5.
Функция w принимает на множестве X не более чем счетное число значений.
xs (w) — xi+1 (w) ® 0 п.н. при s .
Если выполняются условия А1-А5, то d(xs(w),X*) ® 0 п. н.
Доказательство теоремы 2 основывается на доказанных выше леммах 1, 2, 3 и теореме 3. Это доказательство практически не отличается от доказательства теоремы 1 [1].
3 Оценка скорости сходимости вычислительного процесса
Для оценки скорости сходимости необходимо изучить асимптотические свойства последовательности шагов множителей рs _ 2ent(r) из теоремы 2.
Лемма 4. Для последовательности {xs} выполняются все условия теоремы 2 и функция f (х) дважды непрерывно дифференцируема на
^ Т ent(rs)
открытом множестве, содержащим X, тогда р s 2 —
as
=-------5----+
(1 + s)5ln2
где о(1/(1 + s))
as e (0,5; 2).
o(1/(1 + s)) п. н.,
- величина бесконечно малая по сравнению с 1/(1 + s),
Доказательство. Из соотношения (8) и учитывая, что rs ® —¥ для
р^ _ 2ent(r) _ 2rs—Ds, — 1 < As < 0
Следовательно, получим, что
Обозначим: оs = 2r =2Г—1 • 2 ^ ’ / .
Введем величину ts log2_(1 + s)os ], тогда
достаточно больших s, имеем
2^s 2ent(rs )+As 2ent(rs—l)+As—1 —(g ,Ax )—^Ps—1
р _р 2As—1—As . 2—,Ax0—Sps—1 Ks _ Ps—1^ ^
ISSN 1815-588 X. Известия ПГУПС
2008/3
Информационные технологии и безопасность
t =s-1 + -d ln2'2Т?-1) + l0g2(1 + s)-1/(s ln2) 4 YS ,- l0g2S ,
s ln2 ' '
так как ts-, = log2 (ГО,-) , log2 Os-1 = ts-1 - log2 s, T-’ = scs-,,
Cs-1 = 2-1/ s .
Учитывая, что f (x) дважды дифференцируемая функция, имеем из (4): Ys = Zs + Vf (Xs), тогда получим
ts ts= + ^Ц2Л- - M 2Л-1 + M 2Л-1 - 5 ln2 • 2V0 + log2(1 +1/2) -s s s ln2
-1/( s ln2) - (zs, Dxsj -{Vf (xs), Dxs
¥
Ряд ^[log2(1 +1/ s) -1/(s ln2)] сходится. Из леммы 2, теоремы Дуба [9]
s=1
с учетом Dxs = xs - xs-1= p x (xs-1 - ps-1gs-1) - xs-1 следует сходимость
¥
мартингального ряда Zs, Dxs^ п.н.
s=1
Функция f (x) дважды непрерывно дифференцируема, поэтому
Vf (xs), Dxs) = f (xs) - f (xs-1) + у
Dxs
где ys равномерно
ограничена для всех s .
Таким образом, складывая почленно последнее равенство m раз,
m m
получим: £(Vf (xsXDxs) f=xm) - f (x0) + ^у
Dxs
s=1
s=1
Как было показано при доказательстве теоремы 2, функция f (x)
III
ограничена на компактном множестве X, а ряд ^ys
Dxs
является
s=1
сходящимся п.н. в силу леммы 2, поэтому ряд Vf (xs), Dxy сходится
s=1
п.н.
Выражение для т„ в этом случае имеет вид:
Т s t -= +
2-Л-1 s ln2
■ [(2Л-1 - M 2Л-1) + M 2Л-1 - 5 ln2 • 2V1 ] + ts,
2
ISSN 1815-588 X. Известия ПГУПС
2008/3
Информационные технологии и безопасность
243
где ряд ^ts является сходящимся п.н. 2 As—1 е[1;2], M21 Е [0.5; 1];
s=1
таким образом, формула для ts совпадает с алгоритмом Роббинса-Монро
для решения уравнения b — 8ln2• 2z = 0, где b = M2As—1.
По результатам о сходимости алгоритмов стохастической аппроксимации [10] имеем тs ® log2[b/(8ln2)] при s п.н. Отсюда
получаем, что (1 + s)os ® b/(8ln2) при s п.н., следовательно,
b ( 1 '
п.н. Отсюда имеем:
s s 2r ps 2= ------
s s (1 + s )8 ln2
o
as = b ■ 2— ’ и Ps
a„
V1 + s 0 1
(1 + s)8 ln2
+ o
п.н., где as е (0.5;2).
V1 + s 0
При оценке скорости сходимости рекуррентных стохастических
л и* 2
алгоритмов в качестве критерия обычно принимают значение M
2 * х — X
где X - точка минимума функции f (х) на множестве Х [8].
Теорема 4. Для последовательности {xs} выполняются все условия теоремы 2, функция f (X) дважды непрерывно дифференцируема на
открытом множестве, содержащем X, M
Г
<s;
s = 0,1,...,
f (х) > f (x*) + В||x * — xll2, где В > 0 и X - точка минимума f (х) на Х, тогда
при 80 = B/(1,25ln2) имеем M
х * —xs+1
2 1,56о
<
В2(1 + s)
О
1
1 + s
п.н.
Доказательство. Введем функцию вида иИх) =
УЧ
теоремы 1 Z =gS — f (х^-). Как следует из (18),
* s
х — х
. Из условия
g = 2ent(rs—1—C3Ps—1) <p 2ent(rs—1^Г? =f)—8Ps) < 2ent(rs—1+C3P^1) = h —)
a
+o(1/(1 +s)) п.н., где
Из леммы 4 имеем, что ps = _ ЧСЧ1 _
(1+s)8ln2
as е(0.5;2). Следовательно, с некоторого номера s и £> 0 имеем:
a +e
t =-
a —s
<Ps <■
(1+s)8ln2 Л (1+s)8ln2
=l.
(21)
2
2
ISSN 1815-588 X. Известия ПГУПС
2008/3
Информационные технологии и безопасность
Далее используем неравенство Шварца, свойство оператора проектирования на выпуклое множество [3], [4], определение СКГ и получим:
w( Xs+1) =
x - X
s+1
£
X
Xs +Ps Ys
w(0 £ w(x) + 2p^ g, x- X) + P2 gs “ £ w(x) + 2Ps (fr - f(X)) +
+2ps Zs, x - Xs) - 2gA Z, x - Xs) + 2gA C, x - Xs) + p
g
где f = f (x ) и использованы свойства градиента дважды непрерывно
дифференцируемой функции, т. к. Y = f (xS) + C.
Таким образом, используя соотношения (20), (21), получим:
w(xs+1) £ w(xs)+2ps, (f - f(xs))+2(Ps -g-) X
x - x
+
+2gs_1{Zs, x - X} + p 2(h-1 - gs-1) z
£ w(xs) + 2t (f * - f (xs)) +
x - x
+ 2gA Zs, x - xf) +1
g
(22)
Рассмотрим слагаемое
2(h- - gs-1) C
x - x
_ 0^0ent(rs_1+c3Ps_1) - 2ent(rs-1-c3Ps-1)
= 2(2
>)
x - x
ограничена,
*
x
x
®0 по теореме 1, Ps-1 ®0 и rs-1 ®-¥ п.н.
по следствию из леммы 2. При достаточно большом s длина интервала [rs-1 - C3Ps-1, rs-1 + C3Ps-1] будет <<1, тогда в этот интервал может попасть
не более чем одно целое число. Учитывая свойства функции ent, будем иметь:
(h - g ) £ (2ent(rs-1 +c3Ps-1) ent(rs—1 c3Ps—1) - 1)^2ent(rs—1 C3Ps—1) < 2ent(rs-1-c3ps-1) ® о
т. к. rs-1 ®-¥ п.н. Функция ent(y) = const в тех промежутках, где y £Z, поэтому при s (hs-1 -gs-i) = 0 п.н. за исключением множества меры
нуль (Zc R).
Таким образом получаем, что
w( xs+1) £ w(xs) + 2ts (f • - f (xs)) + 2 gsA( zs, x* - xs
п.н.
ISSN 1815-588 X. Известия ПГУПС
2008/3
Информационные технологии и безопасность
245
По условию теоремы имеем f (x) > f (x ) + ^|х — x и по (10) получим
w^1) £ w(X )-
2(as—8)B
w(xs)
(as +e)2
Y
+2g1, x — Xs (23)
(1+s)5ln2 v ' (1+s)252ln22
Величина 8 > 0 может быть произвольно малой, поэтому с учетом части неравенства (23) выпуклая функция от as е[0.5;2] и она достигает
своего максимума при as = 0,5 или as = 2.
2
B 0,25
Введем обозначения: k = 1 + s, Ck = ~ Г и du =
Y
5ln2
52 ln2 2
при
as =0,5 и Ck =
4B , 4
d =
Y
8ln2’
к 82 ln2 2
при as = 2, w(xS+1) = «k+1,
Gt = 2gsA Zs, x — xs
Ck dk \
Значения Ck и dk выбираются при условии шах^— щ +~j). Из (23)
kk k2
Ck.. , dk. „ _ „ B
получим, что Uk+1 £uk ~TUk +7T+Gk. Возьмем 5 =
1.25 ln 2
и
vk = kuk
(1,25):
Y
vk+1 =(k + 1)U
B2 (1,25)2 Yk
. Тогда имеем:
k+1
B2
£ (k(1+1/k)((1—Ck / k)Uk + Gk +-j)
dk, kk
k2 ’ B
= щ(1 — (Ck — 1)/k — Ck /k2) + dk(1 +1/k)/k + k(1+1/k)Gk
2
(1,25)2
Y
B2
= (vk
(1,25)2
Y
B2
-)(1—(Ck — 1)/k—ck / k2)+dk / k2 + dk / k
(1,25)2
g
B2
+k(1 +1/k)Gk vk(1 — (Ck —=1)/k — Ck /k2) —
(1,25)2 Yk (Ck — 1)
B2 k
+
2
ISSN 1815-588 X. Известия ПГУПС
2008/3
Информационные технологии и безопасность
+dk / к
Ск (1,25)
Y
2 г>2
к2 B
+ dk / к2 + к(1 +1/к)Gk
(24)
Рассмотрим слагаемое:
d (1,25)2 ук (Ск -1)
к
При
0,25
а = 0,5
B2 к
С = — = в
к 51n2 B 1п2
(25)
1=25
и
1,251п2
0,25
^ б21п2 2 в21п2 2
1,2521п2 2
2
g 0,25(1,25)2 /
B2
и тогда значение (25) будет
0,25(1,25/ / 0,25(1,25)2 g
равно:
В2к
Б1к
= 0.
_ 4B 4B
Аналогично при a = 2: ск = B=n2 1,25’4;
1,251п2
du =
Y
g
4(1,25)2
g
б21п2 2 B21п2 2
B b
, тогда значение выражения
(25) будет
4(1,25)2
1,2521п22
2
Y
4(1,25)2
g
B2 к
B2 к
= 0. Поэтому из (24) получаем
соотношение:
vt+1£ vt(1
ct -1 - Q, + <*к - (U5)2 С
г г 2 ) ' i 2
Y
+ к (1 + 1)Gk< к
„ mmСк -1 mmС,^ maxd^ w, 1ч^
£ ук (1--к-------^) + “^ + к (1 + к} Gк
(26)
Учитывая, что mm Ск =1,25 >1 и Gk = 2gA Z, х- Xs
и т. к.
Xs = PX(xS 1 - Ps-1Y 1), MsZ = 0 по определению СКГ, то, взяв сначала условное, а потом безусловное математическое ожидание от (26), получим
s-Ъ
ISSN 1815-588 X. Известия ПГУПС
2008/3
Информационные технологии и безопасность
247
£ щъ-025 - U5) + M
k+1 k k k1 Bk
Y £MVk (1-0,25/k)
4(1,25)2 s2
tfk2
По лемме о рекуррентных последовательностях [8] получим limMvk £ 0.
k®¥
Таким образом, учитывая определение Vk, имеем:
(1 25)2 а2 1 1 56s2
Mu
lk+1
£ ^^+ 0(1) 2
kB2 k (1 + s) B2
1,56s0 , 1 ,
_ + o(----), что и доказывает теорему.
1 + s
По следствию из теоремы 4 из (10) имеем: M
х * -xs+1
2 £ 1,56nc
2
(1 + s)
Если минимум функции f (х) находится внутри множества Х или если решается задача безусловной оптимизации, то Vf (х*) = 0, тогда при
s имеем Vf (xs) ® 0 п.н., т. е. для достаточно больших s будет
Vf (Xs) < 81, где 81 > 0 - производительно малое положительное число.
При исследовании вопросов стохастической оптимизации, как правило, задается ограничение а на дисперсию компонентов СКГ [8] в виде
соотношения M(£,k - f k (Xs)) < s2, k = 1, n
0,1,...,
где
n -
размеренность пространства. Для дифференцируемой функции
УЧ
f k (Xs) = Vfk (Xs) и в окрестности стационарной точки значение Vfk (Xs) мало. Поэтому при асимптотических оценках можно положить, что
м к k )2] < s начиная с некоторого s. Из (5) имеем
(Yk)2 = с2u+ (|Xk|-a), k = ~n.
Далее берем математическое ожидание и получим
M[( Y k )2] = cMX
2 M
Используя неравенство Йенсена [9], получим
а2 >M[(Xk)2]>[M|$k|]2 =
Следовательно, са > M[( g i )2].
По определению нормы имеем M
что ncs > M
M[( g k )2]
Y
ft
= ZM( g k )2 и получаем,
k=1
g
2
, положим
ISSN 1815-588 X. Известия ПГУПС
2008/3
Информационные технологии и безопасность
о o = ncs.
(27)
< c п.н. к = 1,n
s = 0,1,..., и,
По условию теоремы 1 X воспользовавшись правилом трёх сигм, можно считать, что c = 3о, тогда
о 0= 3ns2. (28)
Проведя аналогичные выкладки для метода по теореме 1, учитывая, что вместо уs там используется СКГ Xs, as = 1 и т. к. no2 > M X получим, что
M
x * - xs+1
£
no
52 ln2 2(2B /(5 ln2) -1)(1 + s) Из теоремы 2 8 = B /(1,25ln 2),
+ o[1/(1 + s)]
тогда для исходного метода-аналога
M
x * - xs+1
£
no
B2(1 + s)
o
1
1 + s
Для исследуемого метода по теореме 2 получим оценку:
M
. s+1 2 4,7 ns2 x * rs+l £ 5 I o " 1 " 1,56ncs — I n " 1 "
Л Л ^ - 1 (/ B 2(1 + s) _1 + s _ о 1 ^ B 2(1 + s) _1 + s _
(29)
(30)
Таким образом, ориентировочно можно сравнить по количеству шагов итерации исследуемый метод и метод-аналог.
Пусть S - число итерации для модернизированного алгоритма, N - число итераций для исходного алгоритма, необходимое для достижения заданной точности вычислений, тогда получим
S = 1,56c
N = о ,
или, при выполнении соотношения c = 3s,
S „ „~с
— = 4,7 = 5 раз.
N
(31)
(32)
Заключение
Применение модифицированного алгоритма значительно сокращает время выполнения одной итерации, но увеличивает общее количество итераций. Несмотря на это он обеспечивает общий выигрыш во времени
ISSN 1815-588 X. Известия ПГУПС
2008/3
Информационные технологии и безопасность
249
при работе. Данный алгоритм может использоваться для решения задач стохастической оптимизации, часто встречающихся на практике. Например, стохастической задачи распределения ресурсов, оптимизации параметров технологических процессов, решения задач идентификации, обработки сигналов в условиях помех и т. д.
Интересным приложением данного алгоритма является использование его для решения основной задачи стегоанализа, а именно установки факта скрытой передачи информации в мультимедийных данных.
Библиографический список
1. Адаптивные алгоритмы стохастической оптимизации и теории игр / С. П. Урясьев. - М. : Наука, 1990. - 183 с.
2. Стохастические преобразователи информации / Р. Ф. Федоров, В. В. Яковлев, Г. В. Добрис. - Л. : Машиностроение, 1978. - 304 с.
3. Функциональный анализ / А. В. Канторович, Г. П. Акилов. - М. : Наука, 1997. - 728 с.
4. Математическое программирование / В. Г. Карманов. - М. : Наука, 1986. -286 с.
5. Математическая теория оптимального эксперимента / С. М. Ермаков, А. А. Жиглявский. - М. : Наука, 1987. - 320 с.
6. Теория вероятностей / А. А. Боровков. - М. : Наука, 1986. - 431 с.
7. Курс теории вероятностей / Б. В. Гнеденко. - М. : Ф. М., 1961. - 406 с.
8. Введение в оптимизацию / Б. Т. Поляк. - М. : Наука, 1983. - 384 с.
9. Вероятность / А. Н. Ширяев. - М. : Наука, 1980. - 640 с.
10. Аппроксимация стохастическая и рекуррентное оценивание / М. Б. Невельсон, Р. З. Хасминский. - М. : Наука, 1972. - 304 с.
УДК 624.131.3 К. В. Сливец
НАТУРНЫЕ НАБЛЮДЕНИЯ ЗА ДЕФОРМАЦИЯМИ ОГРАЖДАЮЩИХ КОНСТРУКЦИЙ ОПЫТНОГО КОТЛОВАНА И ГРУНТОВОГО МАССИВА
При изучении работы ограждающих конструкций в полевых условиях важно получить наиболее полные данные об их деформациях и деформациях окружающего грунтового массива. Получение данных о перемещениях поверхности грунта осуществляется сравнительно просто при помощи наблюдений за геодезическими марками. Для оценки характера деформаций всего массива грунта необходимо использование специальных контрольно-измерительных устройств, в
ISSN 1815-588 X. Известия ПГУПС
2008/3
