CC BY
21
ИНФОРМАТИКА
УДК 519.6
О СХОДИМОСТИ ЖАДНОГО АЛГОРИТМА ДЛЯ РЕШЕНИЯ ЗАДАЧИ ПОСТРОЕНИЯ МОНОТОННОЙ РЕГРЕССИИ
А. А. Гудков, С. В. Миронов, А. Р. Файзлиев
Гудков Александр Александрович, лаборант Института рисков, Саратовский национальный исследовательский государственный университет имени Н. Г. Чернышевского, 410012, Россия, Саратов, Астраханская, 83, [email protected]
Миронов Сергей Владимирович, кандидат физико-математических наук, заведующий кафедрой математической кибернетики и компьютерных наук, Саратовский национальный исследовательский государственный университет имени Н. Г. Чернышевского, 410012, Россия, Саратов, Астраханская, 83, [email protected] Файзлиев Алексей Раисович, кандидат экономических наук, Саратовский национальный исследовательский государственный университет имени Н. Г. Чернышевского, 410012, Россия, Саратов, Астраханская, 83, [email protected]
В статье представлены жадные алгоритмы, которые используют подход типа Франка - Вульфа для нахождения разреженной монотонной регрессии. Проблема нахождения монотонной регрессии возникает при сглаживании эмпирических данных, в задачах динамического программирования, математической статистике и во многих других прикладных задачах. Для решения данной задачи требуется найти неубывающую последовательность точек, имеющую наименьшую ошибку приближения к заданному множеству точек на плоскости. Задача построения монотонной регрессии может быть сформулирована в виде задачи выпуклого программирования с линейными ограничениями и имеет неполиномиальную сложность. В статье также находятся оценки скорости сходимости представленных жадных алгоритмов.
Ключевые слова: жадные алгоритмы, алгоритм Франка-Вульфа, монотонная регрессия.
йС!: 10.18500/1816-9791 -2017-17-4-431 -440 ВВЕДЕНИЕ
Начиная с 1980-х гг. наблюдается повышенный интерес к оценкам с ограничениями в математической статистике [1]. Одной из таких задач является задача построения монотонной регрессии, которая состоит в том, чтобы найти неубывающую последовательность точек, имеющую
наименьшую ошибку приближения к заданному множеству точек на плоскости. Обзор результатов по задаче построения монотонной регрессии можно найти в книге Т. Робертсона (Robertson), Ф. Райта (Wright), и Р. Декстры (Dykstra) [2]. В статьях [3-6] рассматривается проблема нахождения монотонной регрессии в рамках квадратичного и выпуклого программирования.
Используя подход на основе математического программирования, авторы статей [7-9] недавно предложили новые результаты по этой проблеме. В статьях [10,11] рассматривалась задача такого типа для случая частичных порядков, определенных переменными множественной регрессии.
Монотонная регрессия используется в различных областях:
• в математической статистике, например, при непараметрическом восстановлении функций распределения или функций плотности [1,12];
• при сглаживании эмпирических данных, например в статье [13], используется монотонная регрессия как метод анализа данных при подсчете оценки риска заболевания по отношению к точечному источнику загрязнения окружающей
• в задачах динамического программирования; так, в статье [14] представлены алгоритмы решения задач динамического программирования на основе методов формосохраняющей аппроксимации и показана применимость алгоритмов, сохраняющих конус, для решения задач оптимального роста.
При построении монотонной регрессии мы предполагаем, что существует (неубывающая) зависимость между сигналом х и ответом у(х).
Пусть В[0,1] есть пространство ограниченных функций с нормой ||/1| = шаххе[о,1] |/(х)|. Функция х Е В[0,1] называется монотонной, если для каждой пары точек х2 > х1 имеет место неравенство
Обозначим через Д1 множество всех монотонных функций из В[0,1].
Задача построения монотонной регрессии может быть сформулирована в виде задачи выпуклой оптимизации следующим образом: необходимо найти функцию х Е В[0,1] с наименьшей ошибкой приближения функции у Е В[0,1] в норме Ьд[0,1], д Е (1, 2], при условии монотонности х:
В этой статье рассматриваются жадные алгоритмы, использующие подход типа Франка - Вульфа для нахождения разреженной монотонной регрессии, и находятся оценки скорости сходимости этих алгоритмов.
1. СЛАБЫЙ ЖАДНЫЙ АЛГОРИТМ В L1[0,1]
Множество элементов D пространства B[0,1] называется словарем, если каждый элемент g Е D ограничен по норме единицей, ||g|| ^ 1, и замыкание оболочки D есть B[0,1], т.е. spanD = B[0,1]. Обозначим:
среды;
z(x2) — z(xi) ^ 0.
i
(1)
Тогда множество [9a : a Е (0,1)} является словарем в B[0,1], будем в дальнейшем обозначать его D.
n
Таким образом, решение задачи ищется в виде z = bi0ai, где ai < a2 < ... < an
i=i
и bi ^ 0, i = 1,...,n, n Е N, и
n
z(1) — z(0) = > bi = sup y(x) — inf y(x).
^=1 xe[0,i] xeio,1]
Обозначим через S(D) замыкание в B[0,1] всех таких z.
Одним из вариантов конструктивных методов поиска наилучших m-членных приближений являются жадные алгоритмы. Жадные алгоритмы позволяют получить разреженные решения по отношению к словарю D. Возможно, метод Франка -Вульфа [15], который также известен как метод условного градиента [16], является одним из наиболее известных алгоритмов для нахождения оптимальных решений задач условной выпуклой оптимизации. Важный вклад в разработку алгоритмов типа алгоритма Франка - Вульфа можно найти в [17-19]. В статье [19] приведены результаты двойственной сходимости для алгоритмов типа Франка - Вульфа на основе развития концепции двойственности, представленной в работе [17]. Недавние результаты по сходимости жадных алгоритмов можно найти в работах [20-29].
В настоящей работе рассматривается жадный алгоритм для поиска решений задачи выпуклой оптимизации (1), которые являются разреженными относительно некоторого словаря, в пространстве B[0,1]. Полученные в этом параграфе результаты по оценке скорости сходимости основаны на использовании результатов статей [28,30].
Заметим, что функция E, определенная в (1), является дифференцируемой по Фреше. Обозначим через (E'(x),y) значение функционала E'(x) (производной по Фреше функции E в точке x) в точке у. Для решения задачи (1) мы будем использовать алгоритм 1. Алгоритм для каждого m ^ 1 находит следующий элемент Gm по индукции с использованием текущего элемента Gm-1 и элемента словаря 0am, полученного на шаге жадного спуска.
Алгоритм 1: Слабый жадный алгоритм
начало алгоритма
• Пусть С0 = 0;
цикл для каждого т = 1, 2,..., М
• (Шаг жадного спуска) Найти точку ат Е (0,1) (т. е. функцию 0ат Е $) такую, что (—Е' (Ст-ОА™) ^ ^ sup(—Е'(Ст-1 ),«);
• (Линейный поиск) Найти число 0 ^ Ат ^ 1, такое, что
Е ((1 - Ат )Ст-1 + Ат )= ^ Е ((1 - А)Ст-1 + А0ат )
• (Переход к следующей точке) Ст = (1 — Ат)Ст-1 + Ат0ат; конец алгоритма
На шаге жадного спуска мы максимизируем функционал, который использует градиентную информацию в точке Ст-1, полученной на предыдущей итерации алгоритма. Алгоритм 1 принадлежит классу методов типа метода Франка - Вульфа, так
как в каждом текущем элементе Gm-1 он движется в направлении минимума линеаризованной целевой функции E на допустимом множестве, которым в данном случае является словарь D.
На шаге жадного спуска мы ищем супремум по словарю D (а не множеству S(D)), так как элементы S(D) являются в основном линейными комбинациями бесконечного числа элементов словаря. Таким образом, полученное оптимальное решение не обязательно будет разреженным по отношению к словарю D.
Найти точное решение подзадачи supseD(—E'(Gm_1),s) практически невозможно за конечное время для большинства функций у. Поэтому алгоритм 1 использует ослабляющую последовательность т на шаге жадного спуска для нахождения приближенного решения, которое имеет качество приближения, по меньшей мере tm, на шаге т. По этой причине алгоритм называется «слабым».
Шаг линейного поиска алгоритма 1 находит наилучший элемент на отрезке, соединяющем текущую точку Gm_i и элемент 0am.
Положим Q := {f Е B[0,1] : E(ж) ^ E(0)}, и заметим, что Q ограничено. Анализ сходимости жадных алгоритмов существенно использует меру «нелинейности» целевой функции E на которая может быть оценена с помощью модуля гладкости функции E.
Напомним, что модуль гладкости р функции E на ограниченном множестве Q определяется следующим образом:
1
p(E, u) = - sup |E(f + ug) + E(f - ug) - 2E(f )|, u> 0. (2)
2 f en,||g||=1
E называется равномерно гладкой на если limu^0 p(E, u)/u = 0.
Следующая лемма легко может быть установлена.
Лемма 1. Функция E, определенная в (1), является равномерно гладкой функцией с модулем гладкости, удовлетворяющем неравенству p(E, u) < juq, 1 < q < 2, y > 0.
Используя геометрические свойства функции E и результаты статьи [30], мы можем доказать следующую оценку скорости сходимости жадного алгоритма 1.
Теорема 1. Пусть т = {tk}g=1, 0 < tk < 1, k = 1,2,..., есть ослабляющая последовательность. Тогда
I m \ 1-q q
E(Gm) - E(z*) < 1 + Ci(q,Ytk , p := , m ^ 2, (3)
V k=i J q
где z* Е S(D) есть оптимальное решение и C1(q, y) есть положительное число, не зависящее от т.
2. ЖАДНЫЙ АЛГОРИТМ ДЛЯ РЕШЕНИЯ ЗАДАЧИ ПОСТРОЕНИЯ МОНОТОННОЙ РЕГРЕССИИ ДЛЯ ДИСКРЕТНОГО НАБОРА ТОЧЕК
Рассмотрим задачу построения монотонной регрессии для дискретного набора точек: сигналу ж = (ж1 ,...,жп) соответствуют значения у = (y1,...,yn). Полагаем, что Жг+1 — Жг = Const, Жг < Жг+1, i = 1, . . . , П — 1.
Последовательность z = (z15...,zn) Е Rn называется монотонной, если zi — zi-1 ^ 0, i = 2,..., n.
Обозначим через АП множество всех монотонных последовательностей в Rn.
Тогда задача построения монотонной регрессии может быть записана как задача условной выпуклой оптимизации: необходимо найти вектор z Е Rn с наименьшим значением квадратичной ошибки приближения данного вектора y Е Rn при условии монотонности z:
1 n
f (z ) = nE (zi— y<)2 ^ mn • (4)
i=1
Простой итеративный алгоритм для решения задачи (4) предложен в [31,32] и называется PAVA (Pool-Adjacent-Violators Algorithm). В работе [5] рассматривается обобщение этого алгоритма.
Для построения жадного алгоритма для решения задачи (4) мы перейдем от точек Zi к их скачкам Z¿ = zi+1 — z¿, i = 1,..., n — 1, Zo = z1. Тогда задача (4) может быть переписана в следующем виде:
1 п í i-1 \ 2
g(Z):= — уЧ ^mi1' (5)
i=1 \j=0 )
где S есть множество всех Z = (Z0, Z1,..., Zn-1) Е Rn таких, что mini yi ^ Z0 ^ maxi yi,
n —1
(Zi,...,Zn-i) E R+—1 и £ Zj < maxi yi.
j=0
Пусть Vg(Z) означает градиент g в точке Z,
V (Z) =( — — -dg.
^ ^Z:' 'öZn-J '
где
ГЛ О n i—1
ü=nZj-4 k=o,...,n-1.
Следует отметить, что для задач большой размерности задачи (5) классическими алгоритмами градиентного спуска решение может оказаться сложным с вычислительной точки зрения. В этой связи в настоящем исследовании предлагается использовать жадный алгоритм типа алгоритма Франка - Вульфа для решения задачи (5). Псевдокод жадного алгоритма приведен ниже (алгоритм 2).
Оценка скорости сходимости алгоритма 2 приведена в следующей теореме.
Теорема 2. Пусть последовательность {Z*} получена в соответствии с алгоритмом 2. Тогда для любого t ^ 2
) - же) < ^+1) (тах'*+тш' *)2, (6)
где С * есть оптимальное решение задачи (5).
Доказательство. Известно [15], что для всех £ ^ 2 имеет место неравенство
2Ь(£гат(£ ))2
g(Z*) - g(Z*) <
t + 2
Алгоритм 2: Жадный алгоритм для решения задачи (5)
начало алгоритма
• Зададим число итераций N;
п
• Начальная точка С0 = (Со, 0,..., 0), где С° = п Е У»;
¿=1
• Счетчик числа итераций £ = 0;
• цикл пока £ < N выполнять
• Вычислить Уд (С*), градиент функции д в точке
• Пусть есть решение линейной оптимизационной задачи
Vg(С*)т • Z ^ min, где Vg• Z есть скалярное произведение
-t\T
ZeS
векторов;
Положим Ci+1 = С + at(С4 - С), at = + и t := t + 1;
• Восстановить z = (z1,..., zn) на основе вектора скачков СN; конец алгоритма
где Ь есть константа Липшица и ^гаш(б') есть диаметр множества S. Пусть
У72 ^ (д2д д2д д2д
У д (С) := т-то ^т-то ^-ч^т-
ч^Со' дС2'"' 'дСП-1
Известно, что если Vg является дифференцируемой, то ее константа Липшица L удовлетворяет неравенству
L < sup ||V2g(C) У2.
Тогда
Z
L ^ sup
Z
\
П- ( dV 2 ^1 dz2
k=0
\
£(2(n - k + 1))2 = -
k=1
\
Ek2 = 2
k=1
n(n + 1)(2n + 1)
6n2
Легко видеть, что Diam(S) := л/2(тах^y^ — miny^). □
Недостатком этого метода является зависимость теоретической степени сходимости от размерности задачи.
Благодарности. Работа выполнена при финансовой поддержке РФФИ (проекты № 16-01-00507, 18-01-00408).
Библиографический список
1. Chen Y. Aspects of Shape-constrained Estimation in Statistics : PhD Thesis. University of Cambridge, 2013. 143 p.
2. Robertson T., Wright F., Dykstra R. Order Restricted Statistical Inference. N.Y. : John Wiley & Sons, 1988. 544 p.
3. Barlow R., Brunk H. The Isotonic Regression Problem and Its Dual // Jurnal of the American Statistical Association. 1972. Vol. 67, № 1. P. 140-147. DOI: 10.2307/2284712.
4. Dykstra R. An Isotonic Regression Algorithm // Journal of Statistical Planning and Inference. 1981. Vol. 5, № 1. P. 355-363. DOI: 10.1214/aos/1176345866.
5. Best M. J., Chakravarti N. Active set algorithms for isotonic regression: a unifying framework // Math. Program. 1990. Vol. 47, № 3. P. 425-439. DOI: 10.1007/BF01580873.
6. Best M., Chakravarti N., Ubhaya V. Minimizing Separable Convex Functions Subject to Simple Chain Constraints // SIAM Journal on Optimization. 2000. Vol. 10, № 3. P. 658672. DOI: 10.1137/S1052623497314970.
7. Stromberg U. An Algorithm for Isotonic Regression with Arbitrary Convex Distance Function // Computational Statistics & Data Analysis. 1991. Vol. 11, № 1. P. 205-219.
8. Ahuja R., Orlin J. A Fast Scaling Algorithm for Minimizing Separable Convex Functions Subject to Chain Constraints // Operations Research. 2001. Vol. 49, № 1. P. 784-789. DOI: 10.1287/opre.49.5.784.10601
9. Hansohm J. Algorithms and Error Estimations for Monotone Regression on Partially Preordered Sets // Journal of Multivariate Analysis. 2007. Vol. 98, № 1. P. 1043-1050. DOI: 10.1016/j.jmva.2006.11.001.
10. Dykstra R., Robertson T. An Algorithm for Isotonic Regression for Two or More Independent Variables // Ann. Statist. 1982. Vol. 10, № 1. P. 708-719. DOI: 10.1214/aos/ 1176345866.
11. Burdakov O., Grimvall A., Hussian M. A Generalised PAV Algorithm for Monotonic Regression in Several Variables // COMPSTAT: Proc. 16th Symposium in Computational Statistics. Prague, Czech Republic, 2004. P. 761-767.
12. Bach F. Efficient Algorithms for Non-convex Isotonic Regression through Submodular Optimization // Online Journal CoRR. 2017. Vol. abs/1707.09157. URL: http://arxiv.org/ abs/1707.09157 (accessed 10, September, 2017).
13. Diggle P, Morris S. Morton-Jones T. Case-control isotonic regression for investigation of elevation in risk around a point source // Statistics in medicine. 1999. Vol. 18, № 13. P. 1605-1613. DOI: 10.1002/(SICI)1097-0258(19990715)18:13<1605::AID-SIM146>3.0.CO;2-V.
14. Cai Y., Judd K. L. Shape-preserving dynamic programming // Math. Meth. Oper. Res. 2013. Vol. 77. P. 407-421. DOI: 10.1007/s00186-012-0406-5.
15. Frank M., Wolfe Ph. An algorithm for quadratic programming // Naval Research Logistics Quarterly. 1956. Vol. 3, № 1-2. P. 95-110. DOI: 10.1002/nav.3800030109.
16. Levitin E. S., Polyak B. T. Constrained minimization methods // USSR Comp. Math. & M. Phys. 1966. Vol. 6, № 5. P. 1-50.
17. Clarkson K. L. Coresets, sparse greedy approximation, and the Frank-Wolfe algorithm // ACM Transactions on Algorithms. 2010. Vol. 6, № 4. P. 1-30. DOI: 10.1145/1824777. 1824783.
18. Freund R. M., Grigas P. New analysis and results for the Frank-Wolfe method // Math. Program. 2016. Vol. 155, № 1-2. P. 199-230. DOI: 10.1007/s10107-014-0841-6.
19. Jaggi M. Revisiting Frank-Wolfe: Projection-free sparse convex optimization // ICML'13 : Proc. 30th International Conference on Machine Learning. Atlanta, GA, USA, 2013. P. 427435.
20. Friedman J. Greedy Function Approximation: A Gradient Boosting Machine // Ann. Statist. 2001. Vol. 29, № 5. P. 1189-1232. DOI: 10.1214/aos/1013203451.
21. Davis G., Mallat S., Avellaneda M. Adaptive greedy approximation // Constr. Approx. 1997. Vol. 13. P. 57-98. DOI: 10.1007/BF02678430.
22. Jones L. On a conjecture of Huber concerning the convergence of projection pursuit regression // Ann. Statist. 1987. Vol. 15, № 2. P. 880-882. DOI: 10.1214/aos/1176350382.
23. Barron A. R., Cohen A., Dahmen W., DeVore R. A. Approximation and Learning by Greedy Algorithms // Ann. Statist. 2008. Vol. 36, № 1. P. 64-94. DOI: 10.1214/009053607 000000631.
24. DeVore R. A., Temlyakov V. N. Some remarks on greedy algorithms // Advances in Computational Mathematics. 1996. Vol. 5. P. 173-187. DOI: 10.1007/BF02124742.
25. Konyagin S. V., Temlyakov V. N. A remark on greedy approximation in Banach spaces // East J. Approx. 1999. Vol. 5, № 3. P. 365-379.
26. Nguyen H., Petrova G. Greedy Strategies for Convex Optimization // Calcolo. 2017. Vol. 54, № 1. P. 207-224. DOI: 10.1007/s10092-016-0183-2.
27. Temlyakov V. N. Dictionary descent in optimization // Analysis Mathematica. 2016. Vol. 42, № 1. P. 69-89. DOI: 10.1007/s10476-016-0106-0.
28. DeVore R. A., Temlyakov V. N. Convex optimization on Banach spaces // Found. Comput. Math. 2016. Vol. 16, № 2. P. 369-394. DOI: 10.1007/s10208-015-9248-x.
29. Sidorov S., Mironov S., Pleshakov M. Dual Greedy Algorithm for Conic Optimization Problem // CEUR-WS. 2016. Vol. 1623. P. 276-283.
30. Temlyakov V. N. Greedy approximation in convex optimization // Constr. Approx. 2015. Vol. 41, № 2. P. 269-296. DOI: 10.1007/s00365-014-9272-0.
31. De Leeuw J., Hornik K., Mair P. Isotone Optimization in R: Pool-Adjacent-Violators Algorithm (PAVA) and Active Set Methods // Journal of Statistical Software. 2009. Vol. 32, № 5. P. 1-24. DOI: 10.18637/jss.v032.i05.
32. Chepoi V., Cogneau D., Fichet B. Polynomial algorithms for isotonic regression // Lecture Notes-Monograph Series. 1997. Vol. 31. P. 147-160. DOI: 10.1214/lnms/1215454134
Образец для цитирования:
Гудков А. А., Миронов С. В., Файзлиев А. Р. О сходимости жадного алгоритма для решения задачи построения монотонной регрессии // Изв. Сарат. ун-та. Нов. сер. Сер. Математика. Механика. Информатика. 2017. Т. 17, вып. 4. С. 431-440. 001: 10.18500/1816-9791-2017-174-431-440.
On the Convergence of a Greedy Algorithm for the Solution of the Problem for the Construction of Monotone Regression
A. A. Gudkov, S. V. Mironov, A. R. Faizliev
Alexander A. Gudkov, orcid.org/0000-0002-6472-4855, Saratov State University, 83, Astrakhanskaya Str., Saratov, Russia, 410012, [email protected]
Sergei V. Mironov, orcid.org/0000-0003-3699-5006, Saratov State University, 83, Astrakhanskaya Str., Saratov, Russia, 410012, [email protected]
Alexey R. Faizliev, orcid.org/0000-0001-6442-4361, Saratov State University, 83, Astrakhanskaya Str., Saratov, Russia, 410012, [email protected]
The paper presents greedy algorithms that use the Frank-Woolf-type approach for finding a sparse monotonic regression. The problem of finding monotonic regression arises in smoothing an empirical data, in problems of dynamic programming, mathematical statistics and in many other applied problems. The problem is to find a non-decreasing sequence of points with the lowest error of approximation to the given set of points on the plane. The problem of constructing monotonic regression can be formulated as a convex programming problem with linear constraints and is NP-hard problem. The paper also contains estimates of the rate of convergence for the presented greedy algorithms.
Keywords: greedy algorithms, Frank-Wolfe algorithm, monotone regression.
Acknowledgements: This work was supported by the Russian Foundation for Basic Research (projects nos. 16-01-00507, 18-01-00408).
References
1. Chen Y. Aspects of Shape-constrained Estimation in Statistics: PhD Thesis. University of Cambridge, 2013. 143 p.
2. Robertson T., Wright F., Dykstra R. Order Restricted Statistical Inference. New York, John Wiley & Sons, 1988. 544 p.
3. Barlow R., Brunk H. The Isotonic Regression Problem and Its Dual. Journal of the American Statistical Association, 1972, vol. 67, no. 1, pp. 140-147. DOI: 10.2307/2284712.
4. Dykstra R. An Isotonic Regression Algorithm. Journal of Statistical Planning and Inference, 1981, vol. 5, no. 1, pp. 355-363. DOI: 10.1214/aos/1176345866.
5. Best M. J., Chakravarti N. Active set algorithms for isotonic regression: a unifying framework. Math. Program., 1990, vol. 47, no. 3, pp. 425-439. DOI: 10.1007/BF01580873.
6. Best M., Chakravarti N., Ubhaya V. Minimizing Separable Convex Functions Subject to Simple Chain Constraints. SIAM Journal on Optimization, 2000, vol. 10, no. 3, pp. 658672. DOI: 10.1137/S1052623497314970.
7. Stromberg U. An Algorithm for Isotonic Regression with Arbitrary Convex Distance Function. Computational Statistics & Data Analysis, 1991, vol. 11, no. 1, pp. 205-219.
8. Ahuja R., Orlin J. A Fast Scaling Algorithm for Minimizing Separable Convex Functions Subject to Chain Constraints. Operations Research, 2001, vol. 49, no. 1, pp. 784-789. DOI: 10.1287/opre.49.5.784.10601
9. Hansohm J. Algorithms and Error Estimations for Monotone Regression on Partially Preordered Sets. Journal of Multivariate Analysis, 2007, vol. 98, no. 1, pp. 1043-1050. DOI: 10.1016/j.jmva.2006.11.001.
10. Dykstra R., Robertson T. An Algorithm for Isotonic Regression for Two or More Independent Variables. Ann. Statist., 1982, vol. 10, no. 1, pp. 708-719. DOI: 10.1214/aos/ 1176345866.
11. Burdakov O., Grimvall A., Hussian M. A Generalised PAV Algorithm for Monotonic Regression in Several Variables. COMPSTAT: Proc. 16th Symposium in Computational Statistics. Prague, Czech Republic, 2004, pp. 761-767.
12. Bach F. Efficient Algorithms for Non-convex Isotonic Regression through Submod-ular Optimization. Online journal CoRR, 2017, vol. abs/1707.09157. Available at: http://arxiv.org/abs/1707.09157 (accessed 10 September, 2017).
13. Diggle P, Morris S. Morton-Jones T. Case-control isotonic regression for investigation of elevation in risk around a point source. Statistics in medicine, 1999, vol. 18, no. 13, pp. 1605-1613. DOI: 10.1002/(SICI)1097-0258(19990715)18:13<1605::AID-SIM146>3.0.CO;2-V.
14. Cai Y., Judd K. L. Shape-preserving dynamic programming. Math. Meth. Oper. Res., 2013, vol. 77, pp. 407-421. DOI: 10.1007/s00186-012-0406-5.
15. Frank M., Wolfe Ph. An algorithm for quadratic programming. Naval Research Logistics Quarterly, 1956, vol. 3, no. 1-2, pp. 95-110. DOI: 10.1002/nav.3800030109.
16. Levitin E. S., Polyak B. T. Constrained minimization methods. USSR Comp. Math. & M. Phys., 1966, vol. 6, no. 5, pp. 1-50.
17. Clarkson K. L. Coresets, sparse greedy approximation, and the Frank - Wolfe algorithm. ACM Transactions on Algorithms, 2010, vol. 6, no. 4, pp. 1-30. DOI: 10.1145/1824777. 1824783.
18. Freund R. M., Grigas P. New analysis and results for the Frank-Wolfe method. Math. Program., 2016, vol. 155, no. 1-2, pp. 199-230. DOI: 10.1007/s10107-014-0841-6.
19. Jaggi M. Revisiting Frank-Wolfe: Projection-free sparse convex optimization. ICML'13: Proc. 30th International Conference on Machine Learning. Atlanta, GA, USA, 2013, pp. 427-435.
20. Friedman J. Greedy Function Approximation: A Gradient Boosting Machine. Ann. Statist., 2001, vol. 29, no. 5, pp. 1189-1232. DOI: 10.1214/aos/1013203451.
21. Davis G., Mallat S., Avellaneda M. Adaptive greedy approximation. Constr. Approx., 1997, vol. 13, pp. 57-98. DOI: 10.1007/BF02678430.
22. Jones L. On a conjecture of Huber concerning the convergence of projection pursuit regression. Ann. Statist., 1987, vol. 15, no. 2, pp. 880-882. DOI: 10.1214/aos/1176350382.
23. Barron A. R., Cohen A., Dahmen W., DeVore R. A. Approximation and Learning by Greedy Algorithms. Ann. Statist., 2008, vol. 36, no. 1, pp. 64-94. DOI: 10.1214/009053607 000000631.
24. DeVore R. A., Temlyakov V. N. Some remarks on greedy algorithms. Advances in Computational Mathematics, 1996, vol. 5, pp. 173-187. DOI: 10.1007/BF02124742.
25. Konyagin S. V., Temlyakov V. N. A remark on greedy approximation in Banach spaces. East J. Approx., 1999, vol. 5, no. 3, pp. 365-379.
26. Nguyen H., Petrova G. Greedy Strategies for Convex Optimization. Calcolo, 2017, vol. 54, no. 1, pp. 207-224. DOI: 10.1007/s10092-016-0183-2.
27. Temlyakov V. N. Dictionary descent in optimization. Analysis Mathematica, 2016, vol. 42, no. 1, pp. 69-89. DOI: 10.1007/s10476-016-0106-0.
28. DeVore R. A., Temlyakov V. N. Convex optimization on Banach spaces. Found. Comput. Math., 2016, vol. 16, no. 2, pp. 369-394. DOI: 10.1007/s10208-015-9248-x.
29. Sidorov S., Mironov S., Pleshakov M. Dual Greedy Algorithm for Conic Optimization Problem. CEUR-WS, 2016, vol. 1623, pp. 276-283.
30. Temlyakov V. N. Greedy approximation in convex optimization. Constr. Approx., 2015, vol. 41, no. 2, pp. 269-296. DOI: 10.1007/s00365-014-9272-0.
31. De Leeuw J., Hornik K., Mair P. Isotone Optimization in R: Pool-Adjacent-Violators Algorithm (PAVA) and Active Set Methods. Journal of Statistical Software, 2009, vol. 32, no. 5, pp. 1-24. DOI: 10.18637/jss.v032.i05.
32. Chepoi V., Cogneau D., Fichet B. Polynomial algorithms for isotonic regression. Lecture Notes-Monograph Series, 1997, vol. 31, pp. 147-160. DOI: 10.1214/lnms/1215454134.
Cite this article as:
Gudkov A. A., Mironov S. V., Faizliev A. R. On the Convergence of a Greedy Algorithm for the Solution of the Problem for the Construction of Monotone Regression. Izv. Saratov Univ. (N.S.), Ser. Math. Mech. Inform., 2017, vol. 17, iss. 4, pp. 431-440 (in Russian). DOI: 10.18500/1816-9791-2017-17-4-431-440.
