Алгоритм решения задачи об оптимальной остановке с конечным горизонтом Текст научной статьи по специальности «Математика»

УДК 519.216 ББК22.1

АЛГОРИТМ РЕШЕНИЯ ЗАДАЧИ ОБ ОПТИМАЛЬНОЙ ОСТАНОВКЕ С КОНЕЧНЫМ ГОРИЗОНТОМ

Хаметов В. М.1

(Московский институт электроники и математики национального исследовательского университета «Высшая школа экономики», Москва) Шелемех Е. А.2 (Центральный экономико-математический институт РАН,

Москва) Ясонов Е.В.3 (Московский институт электроники и математики национального исследовательского университета «Высшая школа экономики», Москва)

Предложен и обоснован алгоритм решения задачи об оптимальной остановке с конечным горизонтом. Основываясь на этом алгоритме, реализованном в системе компьютерных алгебр Maple 14, построены примеры решения задач об оптимальной остановке некоторых дискретных марковских последовательностей.

Ключевые слова: задача об оптимальной остановке, огибающая Снелла, область остановки.

1 Владимир Минирович Хаметов, доктор физико-математических наук, профессор (khametovvm@mail.ru).

2 Елена Александровна Шелемех, мл. научный сотрудник (letis@mail.ru).

3Евгений Викторович Ясонов, аспирант (evyasonov@gmail.com).

Введение

Задача об оптимальной остановке случайных последовательностей возникает при решении задач статистики (задача последовательного различения двух простых гипотез), техники (задача о разладке), финансовой математики (расчет американского опциона) и ряде других (см. [1]-[5], [7, 8], [10]-[14]). В [2]-[4], [7, 8, 11] получены основные результаты для задач об оптимальной остановке с бесконечным горизонтом. В отличие от вышеуказанных работ мы рассматриваем случай конечного горизонта.

В работах [3, 4, 7, 15] огибающая Снелла определена рекуррентным соотношением (2) и доказано, что она почти всюду совпадает с ценой оптимальной остановки. Однако в доступной нам литературе мы не нашли обоснования обратного утверждения, состоящего в том, что цена оптимальной остановки удовлетворяет рекуррентному соотношению (2). Поэтому одной из целей работы было устранить этот пробел.

В [11] содержится, по нашему мнению, наиболее полный обзор примеров аналитического решения задач об оптимальной остановке с конечным горизонтом (см. также [1, 2, 8]).

В монографии [7] для случая бесконечного горизонта, когда наблюдается геометрическое случайное блуждание, а останавливаемая последовательность соответствует динамическому платежному обязательству американского опциона колл с дисконтным множителем, показано, что область остановки отделяется от области продолжения наблюдений одной точкой и представляет собой луч.

В [10] предполагается, что область остановки отделяется от области продолжения наблюдений одной точкой.

Вместе с тем, известны примеры функций, для которых область остановки состоит из нескольких несвязных интервалов. Например, в [14] показано, что область остановки для выпуклой кусочно-линейной функции может состоять из нескольких несвязных инвервалов. В статьях [12, 13] в предположениях, что 1) наблюдается марковский процесс; И) останавливаемая после-

довательность - монотонная и выпуклая, получены достаточные условия того, что область остановки отделяется от области продолжения наблюдений одной точкой. Кроме того, в [13] приведены результаты численного решения задачи об оптимальной остановке. В ней показано, что уже при значении горизонта задачи N = 2 область остановки для динамического платежного обязательства опциона пут может состоять из двух несвязных областей.

В этой работе, основываясь на факторизации Винера -Хопфа, авторы приводят алгоритм построения решения задачи об оптимальной остановке с конечным горизонтом динамического платежного обязательства американского опциона колл для случая, когда наблюдаемая последовательность является гауссов-ской.

В данной работе для случая конечного горизонта мы: i) выводим рекуррентное соотношение беллмановского типа для цены оптимальной остановки ограниченной согласованной последовательности (раздел 1.2); ii) формулируем и обосновываем алгоритм построения решения задачи об оптимальной остановке (раздел 1.3); iii) реализуем в системе компьютерных алгебр Maple 14 вышеуказанный алгоритм на нескольких новых примерах задач об оптимальной остановке (раздел 2).

1. Алгоритм построения решения задачи об

оптимальной остановке с конечным горизонтом

1.1. ПОСТАНОВКА ЗАДАЧИ ОБ ОПТИМАЛЬНОЙ

ОСТАНОВКЕ С КОНЕЧНЫМ ГОРИЗОНТОМ

Пусть: i) (Q, F, (Fn)n^0, P) - стохастический базис [8]; ii) N £ N+ - горизонт; iii) T^ - множество моментов остановки т относительно фильтрации (Fn)o^n^w [8], принимающих значения из множества {n,...,N}; iv) (fn, fn)0^n^N - согласованная последовательность ограниченных случайных величин; v) L0(Q, Fo) - множество всех P-п.н. ограниченных Fo-измеримых случайных величин [4, §А.7].

Задача 1. Рассматривается задача (1) E[fTAN|Fo] ^ ess sup,

T eT0N

где E[-|F0] - условное математическое ожидание относительно а-алгебры F0 (определение см. в [4], определение существенной верхней грани можно найти в [4, 9]).

Задачу (1) называют задачей об оптимальной остановке (например, [8]).

Замечание 1. Мы предполагаем, что последовательность ifn]0^n^N ограничена, чтобы упростить формулировки приводимых ниже утверждений.

Обозначим vN = ess sup E[fTaN |F0].

t €t0n

Определение 1. Пару (т*,vN) e (TN, L0(Q, F0)) такую, что vN = E[fT»aN|F0] P-п.н., будем называть решением задачи (1), при этом: i) момент остановки т* e T0N назовем оптимальным; ii) Т0-измеримую случайную величину v^ - ценой оптимальной остановки.

1.2. ВЫВОД РЕКУРРЕНТНОГО СООТНОШЕНИЯ ДЛЯ

УРЕЗАННОЙ ЦЕНЫ ОПТИМАЛЬНОЙ ОСТАНОВКИ

Для нахождения цены оптимальной остановки применим стохастический вариант метода динамического программирования. Для любого n e {1,..., N} обозначим

vN = ess sup EfTaN |Fn].

T eTnN

Определение 2 [8]. Для любого n e {1,..., N} случайную величину vnN назовем урезанной ценой оптимальной остановки в момент времени n.

Замечание 2. Из определения случайной величины vЩ и свойств существенной верхней грани следует, что последовательность {vN}0^n^N согласована с фильтрацией (Fn)0^n^N•

Замечание 3. Из ограниченности последовательности {fn}0^n^N следует, что для любого n e {0, ...,N} случайные величины vN также ограничены P-п.н.

n9

Целью данного раздела является вывод рекуррентного соотношения для [у^ }о<и<М•

Теорема 1. Согласованная последовательность

, .и)0^и^м является последовательностью урезанных цен тогда и только тогда, когда она удовлетворяет рекуррентному соотношению Р-п.н.

(2) = тах {/и Е[уу+1|?п}} , |и=м = /м.

Замечание 4. Последовательность }0^и^м, удовлетворяющую рекурретному соотношению (2), обычно называют огибающей Снелла [4, §6.2]. Известно (см., например, [3, 4, 7]), что огибающая Снелла Р-п.н. совпадает с ценой оптимальной остановки.

Доказательство. Необходимость. Докажем, что если

(у,м, .и)0^га^м - последовательность урезанных цен, то она удовлетворяет рекуррентному соотношению (2).

1) Докажем, сначала, что для любого п € [0,..., N} справедливо неравенство Р-п.н.

(3) уМ ^ тах {¡и; Фм+1 .

Сначала заметим, что: 1) случайная величина 1{т=и}/и является .и-измеримой; И) условное математическое ожидание обладает телескопическим свойством. Поэтому в силу определения и свойств существенной верхней грани [9, Глава 16] для любого п € [0,..., N} справедливы соотношения Р-п.н.

(4) = е88 8ир Е

т лМ

^ ^ 1{т=г}/г|^га

т ег^

^ е88 8Ир 1{т=„} /п + 1{т>п}Е

' тЛМ

У^ 1{т=г}/г|^га+1

т п+1 ^ |_г=п+1

1{т=п}/п + 1{т>п} е88 8ир Е [Е [/тлм ^+1]

1{т=п}/п + 1{т>п}Е

688 8Ир Е [/гЛМ |^п+1]

-1 п + 1

= 1{т=п}/п + 1{т>п}Е ["п+1^п] .

Левая часть полученного неравенства не зависит от момента остановки т € . Поэтому если от правой части (4) взять существенную верхнюю грань по т € , то получим неравенство

(3).

2) Докажем, что Р-п.н. справедливо неравенство (5) < тах {/П; Е["М+1|^гаЦ .

Заметим, что из .^-измеримости случайной величины 1{т=п}/п, определений существенной верхней грани и случайной величины а также из телескопического свойства условного математического ожидания следуют неравенства Р-п.н.

(6) "га = 688 8ир { 1 ^т=n\Jn + 1{т>п}Е [Е [/тЛМ |^п+1] <

т ет"

< е88 8иП 1{т=п}/п + 1{т>п}Е тег"

е88 8ир Е [/тлм |^п+1] |^п

е88

8ир {1{

т=п }/п + 1{ т>п}Е ["га+1|^"п] } — тах {/п; Е[«п+1|^пЦ .

Т ег/

Очевидно равенство "У|п=М = Е[/у ] = /М Р-п.н. Отсюда и из неравенств (3), (5) следует рекуррентное соотношение (2).

тетЛ

Достаточность. Доказательство обратного утверждения известно и содержится в работах [7, §2a Главы V], [4, §6.2], [3, Глава 3], поэтому мы его не приводим.

Из утверждения теоремы 1 следует критерий того, что пара (т*, vN) е (T0N, L0(Q, F0)) является решением задачи (1).

Следствие 1. Пара (т*,v0N) е (T0N,L0(Q,F0)) является решением задачи (1) тогда и только тогда, когда выполняются условия:

1) последовательность (vN, Fn)0^n^T*AN - мартингал относительно меры P;

2) VN |n=T * aN = ¡т »aN P-п.н.

Замечание 5. В отличие от данной работы, в [4] приведен критерий оптимальности для момента остановки т*.

Из утверждений теоремы 1 и следствия 1 вытекает представление для оптимального момента остановки т* е T0N, полученное в [4, 7, 15].

Следствие 2 [4, 7]. Момент остановки т* оптимален тогда и только тогда, когда т* = min {ü ^ n ^ N : fn = vN}.

1.3. АЛГОРИТМ РЕШЕНИЯ ЗАДАЧИ (1)

В этом пункте мы формулируем алгоритм решения задачи (1), который опирается на утверждения пункта 1.2. Алгоритм 1 решения задачи (1).

На шаге N имеем vN = ¡n . Затем для каждого n = N — 1, ..., 0 последовательно вычисляются:

1. математическое ожидание E [vN+1 |Fn];

2. оптимальный момент остановки

т* = min {n < k < N : fk > E [vN+ilFk]} ;

3. цена оптимальной остановки

vN = 1{t * =n}fn + 1{t *>n}EtvN+1|Fn].

Затем операции, описанные в пунктах 1-3, повторяются для шага n — 1 и так далее. 12

Из доказательств утверждений пункта 1.2 следует теорема.

Теорема 2. Пусть пара (тпостроена в соответствии с алгоритмом 1. Тогда (т*, гЩ) - решение задачи (1).

Замечание 6. Основной трудностью в использовании описанного выше алгоритма является вычисление математического ожидания Б[г^+1|^га] (см. пункт 1 алгоритма).

2. Примеры построения решения задачи об оптимальной остановке

2.1. Пусть {£п}0^п^щ - одномерная марковская случайная последовательность, на каждом шаге п € {0, ...,Ж} принимающая не более чем счетное число значений из множества А С М1, и для любого п € {0, ...,Ж} ст-алгебра Тп = ст{50, ...,5п}. Обозначим рп(ж, у) = Р(5п = у|5п-1 = ж) - переходные вероятности за один шаг, где ж, у € А - любые.

Пусть функция / : А х М+ ^ М, обозначаемая /п(ж), а /п = /п(ж)|х=5„ - случайная величина. Тогда из марковского свойства последовательности {£п}0^п^щ, определения гЩ и теоремы [6, Теорема 3 §4 Главы II] следует, что существует функция гЩ : А х М+ ^ М такая, что гЩ = гЩ (ж)|х=5„.

Учтем марковское свойство последовательности {5п в алгоритме 1. Нам понадобится определение.

Определение 3 [8]. Для любого п € {0, ...,Ж} множество

^п = {ж € А : /п(ж) = гЩ(ж)} называют областью остановки в момент времени п.

Замечание 7. Из утверждения следствия 2 и определения множеств Рп следует, что событие {т* = п} может быть представлено в виде {50 € ..., 5п-1 € ^п-1, Бп € £>п}.

Обозначим 5п+1 - значение случайной величины 5п+1 при условии, что 5п = ж, ж € А. Поскольку (5п, - марков-

ская случайная последовательность, то справедливы равенства

(7) Фп+^п = ж] = ЕгЩ+1 (^+1) = ^ ^Л^Рп+^ж у).

уеЕ

В силу теоремы 1, следствия 2 и равенства (7) для любого п е {0,...,И - 1}:

1) величина у^ (ж) допускает представление

N | /"■, Ж е

(8) (ж) = Е <+1(У)Рп+1(ж,у), ж е

I уеА

2) множество Рга представимо в виде

Dn = { x £ A : ^ vN+1(y)Pn+i(x,y) ^ fn(x) y£A

2.2. В этом разделе мы приводим примеры применения алгоритма 1 для решения задачи об оптимальной остановке для некоторых случайных последовательностей. Эти примеры в доступной нам литературе не рассматривались. Решения получены в системе компьютерных алгебр Maple 14.

Пусть случайная последовательность (Sn, Fn)0^n^N задана рекуррентным соотношением Sn+1 = Sn(1 + pn+1), Sn|n=0 = S0 P-п.н., где {pn}0^n^N - последовательность бернуллевских случайных величин, с положительной вероятностью принимающих значения из {a, b}, a,b £ R1. Пусть p = P(pn = a), q = P(pn = b) = 1 - p.

Пример 1. Предположим, что: i) для любого n £ {0, ...,N} функция fn(x) = en(x - K)+, где K > 0, 0 < в < 1 - заданные константы; ii) —1 < a < 0 < b < ж; iii) для любого n £ {0,..., N} вероятность p = щ+ь, q = тЯ+Ь (то есть последовательность {Sn}0^n^N является мартингалом относительно меры P и фильтрации (Fn)0^n^N). Такая задача об оптимальной остановке возникает, например, при расчете американского опциона колл на полном рынке с конечным горизонтом (см. [5, 7, 10]).

Применив алгоритм 1, мы построили примеры решения задачи об оптимальной остановке для функции выплаты опциона колл при конкретных значениях параметров модели.

1

' ' 0 /

/

/ //

/

р»

Ш _ „IV) — V,

К а Ь 0,5: /3 0,9; N 10

Ро (0:0,087] и [11,441:+со)

Рис. 1.

10 987 6 5432 10

■ + I I VIÍ

Рис. 2. Область остановки в зависимости от номера шага

Пусть К = 5, -а = Ь = 0, 5, в = 0, 9, N = 10. На рис. 1 приведены графики функций /о(х) и ^0(х), а также множество

А,.

Результаты расчетов показали, что в этом примере для любого п е {0,..., N} область остановки имеет вид Ап = (0, х2 п] и [х2 п, то), где х2 п, х2 п е М+. На рис. 2 изображены последовательности {х1 ,п}о^п^М, {х2 ,п}о^п^М. •

В следующих примерах рассматриваются непрерывные функции, имеющие один (пример 3) и несколько (пример 2) экстремумов.

Пример 2. Пусть для любого п е {0, ...^} функция /(х) имеет вид, представленный на рис. 3.

о

Рис. 3. Функция / с несколькими экстремумами

\ /

\ /\1 !

\ / 4 . /

/ | ■1/ V

V V ;

О «5

! $ - а о

Г £ / \

/ £ / \ Г

012345678

- / М — — Ц,

и Ь 0,5; р ц 0,5; N 10 Т>0 = ([): [1,017] и [1,502; 2,316] и [о, 509;6, 603] и {5 120} и [Т 168, I го)

Рис. 4.

/ (х) _ „¿V) — % а 0,1: Ь 0,3; р г, 0,5; ЛГ 10 Т>„ (0: 2,222] и [5,407; С, ЛИ] и [247,809; ос)

Рис. 5.

0 1 2 3 4 5 б 7

— / (х) _ „¿V) — С„ и О,1: Ь 0,3: р Ц 0, о; N 10 Ро (0; 0,073] и [5,484: оо)

Рис. 6.

На рис. 4-6 приведены графики /(ж), урезанной цены оптимальной остановки и область остановки для разных значений параметров модели. •

Пример 3. Пусть для любого п е {0, ...,Ж} функция /(ж) имеет вид, представленный на рис. 7.

На рис. 8-11 приведены графики /(ж), урезанной цены оптимальной остановки и область остановки для разных значений параметров модели. •

В примере 4 рассматривается непрерывная слева ступенчатая функция, для которой строятся цена и области остановки.

Рис. 7.

Рис. 8.

— ! И — СМ — ©„

7

а [). 5: Ь [). 7: и ж—: п = —: N Ш 12 12

Va (0; 005] и [1,471: 2,823] и [2 048; 2 730,667] и [4 086; зо)

Рис. 9.

3 -2J-------

/ (г) — СМ — V,

а =-0,1: Ь 0,3; р ч 0,5; Аг К) V, (0; 2,4] и [83,006:94,338] и [94,865; оо)

Рис. 10.

- / И — г.ГИ — т>„

а 0,1: к 0,3; р I/ О, Г); ДГ 10 Т>„ (0: 0,073[ и [!. -Ч и [Ю; <ю)

Рис. 11.

Пример 4. Пусть для любого п е [0,...,Ы} функция 0, х < 1, / ( ) I 1, 1 < х ^ 2, Мх ) = ^ 2, 2 < х < 3, 3, х > 3.

7 у

2 3 Л

— / И — СМ — Во

о. 0,05; Ъ 0,05; р <г 0,5: Лг 10 1>0 = (0:0,614] и [1:1. 2») и [2: 2,105] и [3, эс)

Рис. 12.

Пусть а = -0, 05, Ь = 0, 05, р = д = 0, 5, N = 10. На рис. 12 приведены графики функций / (х ) и г,0(х ), а также множество Ао. •

3. Заключение

Основным результатом теоретической части данной работы являются: 1) вывод рекуррентного соотношения (2) для урезанной цены оптимальной остановки любой согласованной ограниченной последовательности случайных величин (раздел 1.2); и) алгоритм построения решения задачи об оптимальной остановке.

В разделе 2 даны примеры решения задач об оптимальной остановке. Из примеров следует, что для задачи об оптимальной остановке с конечным горизонтом предположение о том, что область остановки представляет собой луч, вообще говоря, неверно. Заметим, что точки излома функций, описывающих останавливаемые последовательности, порождают области остановки.

Литература

1. ДЕ ГРООТ М. Оптимальные статистические решения. -М.: МИР, 1974. - 491 с.

2. ДЫНКИН Е.Б., ЮШКЕВИЧ А. А. Теоремы и задачи о процессах Маркова. - М.: Наука, 1967. - 231 с.

3. РОББИНС Г., СИГМУНД Д., ЧАО И. Теория оптимальных правил остановки. - М.: Наука, 1977. - 165 с.

4. ФЕЛЬМЕР Г., ШИД А. Введение в стохастические финансы. Дискретное время. - М.: МЦНМО, 2008. - 496 с.

5. ХАМЕТОВ В.М., ШЕЛЕМЕХ Е.А., ЯСОНОВ Е.В. Минимаксное хеджирование американсого опциона на неполном рынке с конечным горизонтом - это задача об оптимальной остановке // ОПиПМ. - 2013. - Том 20, вып. 2 -155 с.

6. ШИРЯЕВ А.Н. Вероятность-1. - М.: МЦНМО, 2004. -520 с.

7. ШИРЯЕВ А. Н. Основы стохастической финансовой математики. Том 2. Теория. - М.: ФАЗИС, 1998. - 543 с.

8. ШИРЯЕВ А. Н. Статистический последовательный анализ. - М.: Наука, 1976. - 272 с.

9. ЭЛЛИОТТ Р. Стохастический анализ и его применения. -М.: Мир, 1986. - 351 с.

10. BOYARCHENKO S.I., LEVANDORSKII S.Z. Non-Gaussian Merton-Black-Scoles Theory // Adva^ed Series On Statistical Srie^e and Applied Probability. - 2002. -Vol. 9. - P. 1-421.

11. FERGUSON T. S. Optimal Stopping and Applications. -unpublished manusCTipt, 2000. - [Электронный ресурс] -URL: http://www.math.uda.edu/ tom/Stopping/Contents.html (дата обращения: 10.07.2014).

12. JONSSON H., KUKUSH A. G., SILVESTROV D. S. Threshold structure of optimal stopping strategies for american type option. I. // Theory Probab. Math. Statist. -2005. - No. 71 - P. 93-103.

13. JONSSON H., KUKUSH A. G., SILVESTROV D. S.

Threshold structure of optimal stopping strategies for american type option. II. // Theory Probab. Math. Statist. -2006. - No.72 - P. 47-58.

14. KUKUSH A.G., SILVESTROV D. S. Optimal pricing of American type options with discrete time. // Theory Stoch. Proces. - 2004. - Vol. 10(26), No. 1-2. - P. 72-96.

15. VARADHAN S.R. S. Probability Theory // American Mathematical Soc., 2001.- 167 pp.

ALGORITHM TO SOLVE THE OPTIMAL STOPPING PROBLEM WITH FINITE HORIZON

Vladimir Khametov, HSE, Moscow, Doctor of Science, professor (khametovvm@mail.ru).

Elena Shelemekh, CEMI RAS, Moscow, junior researcher (letis@mail.ru).

Evgeniy Yasonov, HSE, Moscow, student (evyasonov@gmail.com).

Abstract: We propose an algorithm that solves the optimal stopping problem with the finite horizon. The algorithm is based on a derived recurrent equation for the optimal stopping time. It fulfils "separation" principle of solving the optimal stopping problem. This algorithm, implemented in Maple 14 system of computer algebras, is used to solve optimal stopping problems for several discrete Markovian sequences.

Keywords: optimal stopping problem, Snell's envelope, stopping region.

Статья представлена к публикации членом редакционной коллегии А. П. Курдюковым

Поступила в редакцию 25.07.2014.

Опубликована 30.11.2014.