CC BY
95
Современные технологии. Системный анализ. Моделирование, № 3 (55), 2017
46. Bulatov Yu.N., Kryukov A.V., Nguen Van Khuan. Opredelenie parametrov prognosticheskikh regulyatorov dlya ustanovok raspre-delennoi generatsii sistem elektrosnabzheniya zheleznykh dorog [Determination of the parameters of prognostic regulators for installations of distributed generation of railway power supply systems]. Sistemy. Metody. Tekhnologii [Systems. Methods. Technologies], 2016, No. 2 (30), pp. 84-91.
47. Maslennikov V.A. Programmnoe obespechenie dlya raschetov kolebatel'noi staticheskoi ustoichivosti energosistem [Software for calculating the oscillatory static stability of power systems.]. Izv. vuzov: Energetika [Proceedings of higher education institutions: Power generation], 1995, No. 3-4, pp. 33-38.
48. Temgenevskaya T.V. Vybor nastroek ARV-SD v mnogomashinnoi elektroenergeticheskoi sisteme [Selection of AER-A settings in a multi-machine power system]. Trudy Brat. gos. un-ta. Ser.: Estestvennye i inzhenernye nauki [Proceedings of Bratsk state un-ty. Ser .: Natural and engineering sciences], 2015, Vol. 1, pp. 105-109.
49. Temgenevskaya T.V. Postroenie lineino-approksimirovannoi oblasti ustoichivosti dlya operativnogo upravleniya nastroechnymi par-ametrami ARV-SD EES [Construction of linearly approximated stability region for operational control of tuning parameters of AER-A power plants]. Trudy Brat. gos. un-ta. Ser.: Estestvennye i inzhenernye nauki [Proceedings of Bratsk state un-ty. Ser .: Natural and engineering .sciences], 2012, Vol. 1, pp. 9-14.
50. Temgenevskaya T.V. Poisk nastroechnykh parametrov regulyatorov elektroenergeticheskoi sistemy [Search for tuning parameters of regulators of the electric power system]. Trudy Brat. gos. un-ta. Ser.: Estestvennye i inzhenernye nauki [Proceedings of Bratsk state un-ty. Ser .: Natural and engineering sciences], 2010. Vol. 2, pp. 77-18.
УДК 519.688
DOI: 10.26731/1813-9108.2017.3(55). 94-101
Краковский Юрий Мечеславович,
д. т. н., профессор кафедры «Информационные системы
и защита информации», Иркутский государственный университет путей сообщения,
e-mail: [email protected] Лузгин Александр Николаевич, к. т. н., преподаватель кафедры «Информационные технологии», Иркутский государственный университет, e-mail: [email protected]
Y. M. Krakovsky,
Doctor of Engineering Science, Prof. at the Subdepartment of Systems of Information and Information Protection, Irkutsk State Transport University, e-mail: [email protected] A. N. Luzgin, Ph.D. in Engineering Science, Member of the Subdepartment of Information Technology,
Irkutsk State University
Информация о статье
Дата поступления: 14 июня 2017 г.
Article info
Received: Jun 14, 2017
ИССЛЕДОВАНИЕ СОВРЕМЕННЫХ МЕТОДОВ ПОСТРОЕНИЯ ПРОГНОЗИРУЮЩИХ АНСАМБЛЕЙ ПРИМЕНИТЕЛЬНО К ЗАДАЧЕ ИНТЕРВАЛЬНОГО ПРОГНОЗИРОВАНИЯ
A STUDY OF MODERN METHODS OF FORECASTING ENSEMBLES CONSTRUCTION AS APPLIED TO THE INTERVAL FORECASTING PROBLEM
Аннотация. В настоящее время исследователи уделяют много внимания разработке и совершенствованию методов машинного обучения для решения различных прикладных задач. Одной из таких немаловажных задач является задача прогнозирования динамических показателей с целью повышения эффективности принятия управленческих решений в условиях неопределённости. Несомненно важной характеристикой любого метода прогнозирования является точность прогнозов. Одним из наиболее перспективных и современных направлений по улучшению точности прогнозирования является построение прогнозирующих ансамблей
В данной работе проведено исследование существующих методов построения прогнозирующих ансамблей с целью обоснования их использования для задачи интервального прогнозирования. Среди таких методов были рассмотрены: метод голосования, метода бустинга, метод стеккинга, метод бэггинга и метод случайных подпространств. С учетом специфики построения и обучения моделей интервального прогнозирования были рекомендованы для применения метод стеккинга и метод бэггинга. Именно эти методы являются современными, перспективными и подходящими для разработанных авторами моделей интервального прогнозирования с целью улучшения точности прогнозов.
Ключевые слова: интервальное прогнозирование, динамические показатели, прогнозирующие ансамбли, бустинг, стеккинг, бэггинг, случайные подпространства.
Abstract. At present, scientists pay great attention to the development and improvement of machine training methods for solving various applied problems. One of such important tasks is the problem of dynamic indicators forecasting for the purpose of increasing the effectiveness of decision-making in the conditions of uncertainty. An undoubted and important characteristic of any forecasting method is the forecast accuracy. One of the most promising and modern trends in improving the forecasting accuracy is the construction of forecasting ensembles.
In this paper, the authors have carried out a study of existing methods for constructing forecasting ensembles in order to justify their use for the problem of interval forecasting. Among such methods, the voting method, the boosting method, the stacking method, the bagging method and the random subspaces method have been considered. Taking into account the specifics of the construction and training of interval forecasting models, the stacking method and the bagging method have been recommended for application. These methods are considered modern, promising and suitable for the interval forecasting models developed by the authors in order to improve the forecasting accuracy.
Keywords: interval forecasting, dynamic indicators, forecasting ensembles, boosting, stacking, bagging, random subspaces.
94
© Ю.М. Краковский, А. Н. Лузгин, 2017
Modern technologies. System analysis. Modeling, 2017, Vol 55, no.3
Введение
В настоящее время исследователи уделяют много внимания разработке и совершенствованию методов машинного обучения [1]. Любой метод машинного обучения подразумевает формализацию и построение некоторой математической модели, «обучаемой» с помощью специального алгоритма по имеющимся данным для решения различных прикладных задач. Одной из таких немаловажных задач является задача прогнозирования динамических показателей (ДП) с целью повышения эффективности принятия управленческих решений в различных организациях и предприятиях, осуществляющих свою деятельность в условиях неопределённости.
Следует также отметить, что в последние несколько лет наблюдается возрастающий интерес исследователей и практиков именно к вероятностным методам прогнозирования [2]. Прежде всего это можно объяснить тем, что вероятностные прогнозы позволяют получить количественную оценку неопределённости самого прогноза, которым является оценка вероятности будущего события.
Среди «обучающихся» математических моделей, подходящих для осуществления вероятностного прогнозирования, можно выделить: вероятностные нейронные и кластерные модели, вероятностные регрессионные модели, байесовские модели, модели вероятностных опорных векторов или случайных лесов [3]. Все эти модели относятся к разряду обучаемых «с учителем» (supervised learning).
Частным и достаточно распространённым примером вероятностного прогнозирования может являться бинарное прогнозирование. При таком прогнозировании в будущий момент времени может произойти только одно из двух возможных событий. Необходимость бинарного прогнозирования часто возникает во многих практических задачах [2, 3]. Разновидностью бинарного прогнозирования является интервальное прогнозирование (ИП), предложенное авторами в работах [3-6]. Суть данного подхода заключается в определении интервала из двух заранее заданных интервалов, в котором будет находиться будущее значение ДП на основе оценок вероятностей этих событий. Разделительная граница интервалов задается расчетным способом исходя из статистических характеристик ДП.
Несомненно, важной характеристикой любой уже «обученной» модели является точность, с которой она способна прогнозировать будущие события.
Одним из наиболее перспективных и современных направлений по улучшению точности прогнозирования является построение прогнозирующих ансамблей (ensemble forecasting). Идея прогнозирующего ансамбля основана на комбинации результатов прогнозирования сразу нескольких «обученных» моделей.
Данная работа посвящена: 1) анализу существующих методов построения прогнозирующих ансамблей; 2) выявлению среди них методов, подходящих для применения в отношении предложенных авторами моделей ИП [4-5], с целью улучшения точности такого прогнозирования.
Формализация интервального прогнозирования
Любой ДП формализуется как временной ряд:
Q = {qt:t еГ}. (1)
Здесь qt - значения ДП, зафиксированные
в дискретные моменты времени t ; t еГ ; T = {1,... ,n}; n - объём выборки значений ДП.
Затем определяется интервал возможных значений ДП (q^n; qmax), внутренняя точка qt (qmn < qt < qmx) и создается два интервала [3-6]:
I-= (qmin; qt ],I+ = (qt; qmJ. (2)
Для интервалов (2) значение внутренней точки q&t предлагается определять так:
qt = qt + A, t = n-1, (3)
где
A = a-(mean(\qt -qt-11))/(n-1). (4) Здесь а е [-1,1] - коэффициент, который задается заранее; mear() - среднее по множеству значений.
В момент времени t = n необходимо определить, в каком интервале (2) будет находиться будущее (неизвестное) значение qt+ , на основе
оценок вероятностей р++ p и pt+p, где p = 1,...,r -
время упреждения; p++p - вероятность, что
qt+pе I+; р+p - ^рс^таостц что qt+pе I-;
p++p + pt+p = 1. ИП проводится по правилу: будущее значение qt+p е I+, если p++p > pt+p; будущее
значение qt+ p е I , если pt+p < p++p .
Предпосылки построения
прогнозирующих ансамблей
Как было отмечено ранее, в настоящее время существует множество различных «обучаемых» моделей и алгоритмов их обучения, среди
Современные технологии. Системный анализ. Моделирование, № 3 (55), 2017
которых выделить очевидного лидера по точности прогнозирования не всегда представляется возможным. Более того, совершенствование непосредственно самой «обучаемой» модели выбранного типа или метода её обучения с целью улучшения точности прогнозирования становится все более сложной и часто неразрешимой на практике задачей. В научной литературе практически отсутствуют новые конструктивные идеи на этот счет. Вместе с тем практическая потребность в улучшении точности прогнозирования в условиях неопределённости неуклонно растет [7]. Такая ситуация вынужденно «привела» исследователей и разработчиков к идее об одновременном использовании нескольких «обучаемых» моделей с целью согласованного объединения их прогнозов по некоторому алгоритму. Так появилось понятие прогнозирующего ансамбля.
Математическим обоснованием идеи построения прогнозирующего ансамбля является теорема Кондорсе о жюри присяжных (the Condorcet's jury theorem) [7]. Эта теорема утверждает, что если каждый член жюри присяжных обладает независимым мнением по поводу рассматриваемой ситуации, и если вероятность того, что любой из них принимает правильное решение больше 0,5, то вероятность того, что решение присяжных в целом окажется правильным, возрастает с увеличением количества членов жюри и стремится к 1. Если же вероятность быть правым у каждого из членов жюри меньше 0,5, то вероятность принятия правильного решения присяжными в целом уменьшается и стремится к 0 с увеличением количества присяжных.
Таким образом, имея несколько прогнозирующих моделей (по аналогии с присяжными) с вероятностью успешного прогноза больше 0,5 можно объединить результаты их прогнозирования и тем самым достичь более высокой точности прогноза [8-10]. В то же время для получения прогноза на основе прогнозирующего ансамбля требуется больше вычислений, чем для прогноза на основе единственной модели. Но в эпоху бурного развития средств вычислительной техники это несущественно. Как оказалось, на деле проблема заключается в другом - в алгоритме объединения результатов прогнозирования, так как здесь возможны самые различные варианты и методы [7]. В настоящее время разработано и известно уже несколько перспективных методов построения прогнозирующих ансамблей, которые целесообразно рассмотреть далее.
Методы построения прогнозирующих ансамблей
Для дальнейшего изложения формализуем основные понятия.
Пусть при t = п имеется последовательность значений ДП (называемых также предикторами или независимыми переменными) qt-/+■í,...,qt количеством / . Обозначим эту последовательность в виде матрицы-строки г = (gt_f+1,...,qt) размером 1х /.
Пусть также имеется зависимая переменная-признак (называемая также откликом) у+ , истинное значение которой неизвестно и которая может принимать только два возможных значения:
у+р =1, если qt+р е I + и у+р = -1, если qt+р е Г .
При осуществлении ИП, с использованием вектор предикторов г требуется выполнить прогноз отклика у+ на основе оценок вероятностей
того, что qt+р еI + и qt+р
рр+р > р+р, то yt+р =1 , иначе yt+р = -1.
Используя предысторию значений показателя Q (1) для t = 1,...,m, где т = n - f - р +1 (это значение выбрано так, чтобы можно было рассчитать значения откликов по предыстории ДП [4-6]), построим обучающее множество (training sample) так:
i q q \
е I- . Напомним, что если
x =
q1
q2
q1+f-1
q2+f-1
' = (y У2 ... Ут ) . (5)
^qm ... Чт+/-1 )
Здесь х - матрица предикторов размером т х /, где индекс каждого предиктора указывает на позицию соответствующего элемента в Q (1) ; у - матрица-строка откликов размером 1 х т (эти отклики рассчитываются по предыстории ДП); т - число «обучающих» примеров. Следует отметить, что значения откликов у при «обучении» вероятностной кластерной и вероятностной нейронной моделей для ИП рассчитываются по различным алгоритмам. Подробности можно найти в работах [4-5].
Введем обозначения: х{ - вектор-строка предикторов матрицы (5), где индекс 1 обозначает номер строки матрицы х (5); у { - значение элемента матрицы-строки у (5), находящегося в строке с номером 1. Каждой строке предикторов
Modern technologies. System analysis. Modeling, 2017, Vol 55, no.3
x, соответствует отклик матрицы-строки y ,:
x, ® у, •
Можно выделить несколько основных методов построения прогнозирующих ансамблей: 1) метод голосования (voting), 2) метод бустинга (boosting), 3) метод стекинга (stacked generalization), 4) метод бэггинга (bagging, boostrap aggregation), 5) метод случайных подпространств (random subspace method).
Метод голосования - это, пожалуй, самый простой (и наиболее старый) метод агрегирования результатов прогнозирования нескольких моделей, результаты прогноза которых для одного и того же события могут отличаться [8, 11]. То есть модели такого ансамбля должны «ошибаться» при прогнозе бинарных событий по-разному, но при этом вероятность верного прогноза каждой модели должна быть больше 0,5 (что согласуется с теоремой Кондорсе).
Первые работы, в которых так или иначе упоминается метод голосования, датируются началом 70-х годов прошлого столетия [12].
Пусть y+р =(~/+ p •••$+ p) - матрица-строка размером 1 х s оценок отклика yt+p при t = n , полученных с помощью нескольких «обученных» моделей общим числом s .
Пусть w = (W ... ws) - матрица-строка размером 1 х s значений весов моделей в ансамбле.
Тогда прогнозирующий ансамбль можно формализовать так:
~t+p = s'gn(yt+p х wT). (6)
Здесь sign(-) - функция знака.
При равных значениях элементов w в (6) метод голосования называется простым, а при раз-личных-взвешенным. Значения весов могут рассчитываться по-разному [13].
Таким образом, в данном методе каждая модель как бы «голосует» за то, каким будет будущий результат (событие).
Данный метод легко применим к построению прогнозирующего ансамбля для решения задачи ИП, так как модели, предложенные авторами в работах [4-5], как в математическом, так и в алгоритмическом планах совершенно различны и при тестировании их точности «ошибаются» по-разному. Однако более современные методы построения прогнозирующих ансамблей, рассматриваемые далее, как правило, дают значительно лучший прирост точности прогнозирования, поэтому данный метод не может быть рекомендован к дальнейшему применению, как уже устаревший.
Метод бустинга - это процесс последовательного «обучения» нескольких идентичных моделей так, чтобы очередная «обученная» модель компенсировала ошибки обучения предыдущих моделей. В теории машинного обучения «ошибки обучения» - это разность между желаемым (целевым) и реальным откликом модели на данных обучающего множества (5). Цель такого обучения - получить набор идентичных, но по-разному «обученных» моделей, которые бы «ошибались» при прогнозах по-разному, и объединить их в прогнозирующих ансамбль. Разработка этого метода началась в 1984 году, и в настоящее время метод активно развивается. Существует уже более десятка разнообразных алгоритмов бустинга [14]. Наиболее простой и популярный из них называется AdaBoost. Учитывая, что в русскоязычной научной литературе уделено недостаточно внимания практической реализации данного алгоритма, рассмотрим его подробнее.
Для понимания принципа работы алгоритма AdaBoost можно выбрать s простых бинарных линейных моделей вида
p = sign(a' х zT )• (7)
Здесь а' =(~1i...~f) - матрица-строка размером 1х f оценок неизвестных значений коэффициентов модели i; z - значения предикторов, отклик для которых неизвестен; s'gn() - функция
знака; а'+ p - оценка отклика yt+p моделью i; i = 1,...,s .
«Обучение» моделей (7) с использованием обучающего множества (5) заключается в получении оценок их коэффициентов a' путем минимизации функции вида [15]
argmin^'(а')= sign(y -sign(a' х pT))x(u')T . (8) а II llo
Здесь a' - оценки коэффициентов модели i (8); p - матрица предикторов (5); y - матрица-
строка откликов (5); u' =(u1,...,u'm) - матрица-
строка размером 1х m весов ошибок обучения модели i (8); sign() - векторная функция знака (возвращает вектор знаков элементов вектора); II0 - l0 -норма (в теории машинного обучения
определяется как количество ненулевых элементов вектора). Функцию (8) принято также называть функцией эмпирического риска (empirical risk function).
Современные технологии. Системный анализ. Моделирование, № 3 (55), 2017
На первоначальном этапе работы алгоритма обучается модель с индексом 1 = 1, при этом веса ошибок обучения этой модели
и =(м1 = 1/т,...,и'т = 1/m).
Минимизировав функцию 51 (а1) (8), рассчитывают вес модели 1 в ансамбле:
' 1 (~ 1) ^
w1 = 0.5 • 1п
(9)
Далее проводят оценку «обученной» моделью откликов у : у1 = а1 х рт . Затем пересчитывают веса ошибок обучения для очередной модели
и
1+1
и
-1 •у •а
/ и
0
(10)
и повторяют предыдущие этапы для 1 = 2,...,£ .
После этого прогнозирующий ансамбль считается построенным. В него входят ^ «обученных» моделей (7) с оценками коэффициентов а' и весами моделей в ансамбле w = {w'í... ^).
Для прогнозирования на основе каждой модели осуществляют оценку а/+ р отклика У+p
по формуле (7), а само прогнозирование проводят по формуле (6) (методом взвешенного голосования). Метод бустинга прост в своей практической реализации для многих «обучаемых» моделей. Известны алгоритмы бустинга, где вместо бинарной линейной модели применяются модель логистической регрессии [16], модель опорных векторов [17], байесовская модель [18], модель решающих деревьев [19].
Следует подчеркнуть, что идеология данного метода основана на его применении к идентичным моделям. Более того, желательно, чтобы такая модель была «слабой» (то есть вероятность успешного прогноза такой модели должна быть немного больше 0,5). В случае применения данного метода к «сильной» модели (когда вероятность успешного прогноза намного больше 0,5), метод бустинга может быть непродуктивным или даже контрпродуктивным (то есть ухудшать точность прогнозов) [20].
Учитывая, что предложенные авторами в работах [4-5] модели ИП не идентичны и, более того, для большинства ДП являются «сильными», объединить эти модели в ансамбль методом бу-стинга и рекомендовать его к применению для ИП нецелесообразно.
Метод стеккинга - это метод построения прогнозирующего ансамбля, в котором помимо базовых моделей применяется дополнительная
«обучаемая» модель (метамодель) для агрегации прогнозов (откликов) базовых моделей. Алгоритм обучения метамодели в теории машинного обучения называется метаалгоритмом обучения. Метод стеккинга был предложен в 1992 году [21]. Рассмотрим простейший алгоритм, реализующий метод стеккинга.
Исходное обучающее множество (5) делится на две части (два обучающих множества). Например, это может выглядеть так:
(
1
х =
q^
q^+f -
Л
(
2
х=
qk+1 ... qk+f
\
(11)
qk ... qk+f-1 0 ^qm ... qm+f-\ 0
У1 = (у 1 ... Уk ^ у2 =^+1... Уm).
Используя х1, у1 (11) обучают ^ моделей. Это могут быть как совершенно различные модели, так и идентичные, но обученные по-разному (например, методом бустинга).
С помощью «обученных» моделей с исполь-
2 «2 зованием х осуществляют оценки значений у .
Обозначим оценки значений у2 моделью 1 посредством у2 .
Затем, на финальной стадии алгоритма,
«обучают» метамодель, используя оценки у 2'г
2
в качестве предикторов откликов у .
Недостатком метода стеккинга является невозможность прямого использования всего обучающего множества (5) (если обучить базовые модели и метамодель на всем обучающем множестве, то возникает проблема «переобучения».). По этой причине существуют различные модификации метода, направленные на борьбу с этим недостатком [22].
Учитывая, что предложенные авторами в работах [4-5] модели ИП различны, метод стек-кинга выглядит весьма перспективно и может быть рекомендован для построения прогнозирующего ансамбля на их основе.
Метод бэггинга - это процесс «обучения» нескольких идентичных или различных моделей на обучающих множествах, сформированных индивидуально для каждой модели, посредством случайного выбора примеров из исходного обучающего множества (5). Некоторые примеры могут быть выбраны несколько раз. При этом новые обучающие множества, как правило, содержат число примеров, равное числу примеров в исходном обучающем множестве (5).
Modern technologies. System analysis. Modeling, 2017, Vol 55, no.3
Например, случайное обучающее множество из исходного (5) с числом примеров т может выглядеть так:
œq10 ... q10+ f-1 ö
x =
q21
q21+ f -
f ' = (У10 У21... У1 ). (12)
некое подпространство x ' пространства ж. Данный метод был предложен в 1998 году.
Приведем простой пример. Пусть имеется обучающее множество (5) для которого / = 5 и т = 51:
œ q q2 q3 q4 q5 ö
V#1 ... #1+/-1 у
Здесь число строк в матрице х ' равно числу строк в матрице х (5), число элементов в матрице-строке у' равно числу элементов в матрице-строке у (5). При этом строки матрицы х ' выбраны случайно среди строк матрицы х , с соответствующими им элементами матрицы-строки у .
Метод был предложен в 1994 году [23]. Результаты прогнозирования на основе моделей, «обученных» по случайным обучающим множествам, объединяются методом простого голосования (6).
Метод бэггинга может применяться как для идентичных, так и для различных «обучаемых» моделей. В том числе этот метод может быть рекомендован для построения прогнозирующего ансамбля для решения задачи ИП.
Метод случайных подпространств - это процесс «обучения» нескольких моделей на обучающих множествах, сформированных индивидуально для каждой «обучаемой» модели, посредством случайного выбора набора предикторов из матрицы х исходного обучающего множества (5) [24]. Некоторые предикторы могут быть выбраны несколько раз. При этом число предикторов (/ ') в новой матрице (обозначим её х ') должно быть меньше, чем в исходной матрице х (5): /' < /. Число примеров в обучающем множестве не меняется и остаётся равным т . В то же время размерность пространства х сокращается, и получается
x =
= (y 1 ... У51). (13)
V#51 #52 #53 #54 #55,
Применим к нему метод случайных подпространств. Пусть /' = 3 . Как вариант получим подпространство:
x =
q1 q2 q5
Л
= (У1... У51) .
(14)
V#51 #52 #55 0
Применив метод повторно, получим еще одно подпространство и так далее.
Данный метод хорош тогда, когда число предикторов достаточно велико [25-26]. Учитывая, что в работах [4-6] число предикторов для предложенных моделей ИП / < 5 (то есть является небольшим), то рекомендовать данный метод для построения прогнозирующего ансамбля нельзя.
Заключение
В данной работе проведено исследование существующих методов построения прогнозирующих ансамблей с целью определения подходящих для применения в отношении предложенных авторами моделей ИП [4-6] с целью улучшения точности ИП. Среди таких методов были рассмотрены метод голосования, метода бустинга, метод стеккинга, метод бэггинга и метод случайных подпространств. С учетом специфики построения и обучения моделей ИП были рекомендованы для применения метод стеккинга и метод бэггинга. Именно эти методы являются современными, перспективными и подходящими для разработанных моделей ИП с целью улучшения точности прогнозов.
БИБЛИОГРАФИЧЕСКИМ СПИСОК
1. James G., Witten D., Hastie T., Tibshirani T. An Introduction to Statistical Learning with Applications in R. 2013. 426 p.
2. Elliott G., Granger C., Timmermann A. Handbook of Economic Forecasting. 2013. Vol 2. 1324 p.
3. Краковский Ю.М., Лузгин А.Н. Прикладные аспекты применения интервального прогнозирования в системном анализе // Современные технологии. Системный анализ. Моделирование. 2017. № 2(52).
4. Краковский Ю.М., Лузгин А.Н. Алгоритм интервального прогнозирования динамических показателей на основе робаст-ной вероятностной кластерной модели // Наука и образование. 2016. №11. С. 113-126. URL: http://technomag.neicon.ru/doc/84 9839.html (дата обращения: 17.05.2017).
5. Краковский Ю.М., Лузгин А.Н. Алгоритм интервального прогнозирования динамических показателей на основе вероятностной нейросетевой модели // Современные технологии. Системный анализ. Моделирование. 2016. № 4 (50). C. 126-132.
6. Краковский Ю.М., Лузгин А.Н. Программный комплекс интервального прогнозирования нестационарных динамических показателей // Вестник ИрГТУ. 2015. №4. С.12-16.
7. Городецкий В.И., Серебряков С.В. Методы и алгоритмы коллективного распознавания // Труды СПИИРАН. 2006. № 3 (1). C. 139-171.
Современные технологии. Системный анализ. Моделирование, № 3 (55), 2017
8. Opitz D., Maclin R. Popular ensemble methods: An empirical study // Journal of Artificial Intelligence Research. 1999. Vol.11. pp. 169-198.
9. Polikar R. Ensemble based systems in decision making // IEEE Circuits and Systems Magazine. 2006. №6 (3). pp. 21-45.
10. Rokach L. Ensemble-based classifiers // Artificial Intelligence Review. 2010. №33 (1-2). pp. 1-39.
11. Lam L., Suen S.Y. Application of majority voting to pattern recognition: an analysis of its behavior and performance // IEEE Transactions on Systems, Man, and Cybernetics (Part A: Systems and Humans). 1997. Vol. 27. № 5, pp. 553-568.
12. Clemen R.T. Combining forecasts: A review and annotated bibliography // International Journal of forecasting. 1989. № 5. pp. 559-583.
13. Michael I.I., Jacobs R.A. Hierarchical mixtures of experts and the EM algorithm // Neural computation. 1994. № 6.2. pp. 181214.
14. Schapire R.E., Freund Y. Boosting: Foundations and Algorithms (Adaptive Computation and Machine Learning series). 2014. 554p.
15. Collins M. Linear Classifiers. 2012. URL: http://www.cs.columbia.edu/~mcollins/courses/6998-2012/lectures/lec1.3.pdf (дата обращения: 16.08.2016).
16. Friedman I, Hastie T., Tibshirani R. Additive logistic regression: a statistical view of boosting (With discussion and a rejoinder by the authors) // The Annals of Statistics. 2000. Vol. 28. № 2. pp. 337-407.
17. Garcia E., Lozano F. Boosting Support Vector Machines // Proceedings - ICMLA 2005: Fourth International Conference on Machine Learning and Applications. 2005. pp. 374-379.
18. Ting K.M., Zheng Z. A Study of AdaBoost with Naive Bayesian Classifiers: Weakness and Improvement // Computational Intelligence. 2003. Vol.19. №.2. pp. 186-200.
19. Mease D., Wyner A., Buja A. Boosted Classification Trees and Class Probability // Journal of Machine Learning Research. 2007. №. 8, pp. 409-439.
20. Grim I., Pudil P. Somol. P. Boosting in probabilistic neural networks // Object recognition supported by user interaction for service robots, 2002, vol.2, pp. 126-139.
21. Wolpert D.H. Stacked generalization // Neural Networks, 1992, vol.5, №2, pp.241-259.
22. Ting K.M., Witten, I.H. Stacked generalization: when does it work? // Proceedings of the Fifteenth international joint conference on Artifical intelligence. 1997. Vol.2. pp. 866-871.
23. Breiman L. Bagging Predictors // Technical Report No. 421. 1994. URL: https://www.stat.berkeley.edu/~breiman/bagging.pdf (дата обращения: 14.02.2017).
24. Ho T.K. The Random Subspace Method for Constructing Decision Forests // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1998. Vol. 20 (8), pp. 832-844.
25. Bryll R. Attribute bagging: improving accuracy of classifier ensembles by using random feature subsets // Pattern Recognition. 2003. Vol. 36 (6). pp. 1291-1302.
26. Skurichina M., Duin R. Bagging, Boosting and the Random Subspace Method for Linear Classifiers // Pattern Analysis & Applications. 2002. Vol.5. Issue 2. pp.121-135.
REFERENCES
1. James G., Witten D., Hastie T., Tibshirani T. An Introduction to Statistical Learning with Applications in R. 2013, 426 p.
2. Elliott G., Granger C., Timmermann A. Handbook of Economic Forecasting. 2013, Vol 2, 1324 p.
3. Krakovskii Yu.M., Luzgin A.N. Prikladnye aspekty primeneniya interval'nogo prognozirovaniya v sistemnom analize [Applied aspects of application of interval forecasting in system analysis]. Sovremennye tekhnologii. Sistemnyi analiz. Modelirovanie [Modern technologies. System analysis. Modeling], 2017, No. 2(52).
4. Krakovskii Yu.M., Luzgin A.N. Algoritm interval'nogo prognozirovaniya dinamicheskikh pokazatelei na osnove robastnoi veroyatnostnoi klasternoi modeli [Elektronnyi resurs] [Algorithm for interval forecasting of dynamic indicators on the basis of robust probabilistic cluster model]. Nauka i obrazovanie [Science and education], 2016, No.11, pp. 113-126. URL: http://technomag.neicon.ru/doc/84 9839.html (Accessed 17.05.2017).
5. Krakovskii Yu.M., Luzgin A.N. Algoritm interval'nogo prognozirovaniya dinamicheskikh pokazatelei na osnove veroyatnostnoi neirosetevoi modeli [Algorithm for interval forecasting of dynamic indicators based on probabilistic neural network model]. Sovremen-nye tekhnologii. Sistemnyi analiz. Modelirovanie [Modern technologies. System analysis. Modeling], 2016, No. 4 (50), pp. 126-132.
6. Krakovskii Yu.M., Luzgin A.N. Programmnyi kompleks interval'nogo prognozirovaniya nestatsionarnykh dinamicheskikh pokazatelei [The program complex of interval forecasting of non-stationary dynamic indicators]. VestnikIrGTU [Proceedings of Irkutsk State Technical University], 2015, No.4, pp.12-16.
7. Gorodetskii V.I., Serebryakov S.V. Metody i algoritmy kollektivnogo raspoznavaniya [Methods and algorithms of collective recognition]. Trudy SPIIRAN [SPIIRASProceedings], 2006, No. 3 (1), pp. 139-171.
8. Opitz D., Maclin R. Popular ensemble methods: An empirical study. Journal of Artificial Intelligence Research, 1999, Vol. 11, pp. 169-198.
9. Polikar R. Ensemble based systems in decision making. IEEE Circuits and Systems Magazine, 2006, No.6 (3), pp. 21-45.
10. Rokach L. Ensemble-based classifiers. Artificial Intelligence Review, 2010, No.33 (1-2), pp. 1-39.
11. Lam L., Suen S.Y. Application of majority voting to pattern recognition: an analysis of its behavior and performance. IEEE Transactions on Systems, Man, and Cybernetics (Part A: Systems and Humans), 1997, Vol. 27, No. 5, pp. 553-568.
12. Clemen R.T. Combining forecasts: A review and annotated bibliography. International Journal of forecasting, 1989, No. 5, pp. 559-583.
13. Michael I.I., Jacobs R.A. Hierarchical mixtures of experts and the EM algorithm. Neural computation, 1994, No. 6.2, pp. 181214.
14. Schapire R.E., Freund Y. Boosting: Foundations and Algorithms (Adaptive Computation and Machine Learning series). 2014, 554 p.
ПЩ] Информатика, вычислительная техника и управление
оо оо Modern technologies. System analysis. Modeling, 2017, Vol 55, no.3 Sir
15. Collins M. Linear Classifiers. 2012. URL: http://www.cs.columbia.edU/~mcollins/courses/6998-2012/lectures/lec1.3.pdf (Accessed 16.08.2016).
16. Friedman I, Hastie T., Tibshirani R. Additive logistic regression: a statistical view of boosting (With discussion and a rejoinder by the authors). The Annals of Statistics, 2000, Vol. 28, No. 2, pp. 337-407.
17. Garcia E., Lozano F. Boosting Support Vector Machines. Proceedings - ICMLA 2005: Fourth International Conference on Machine Learning and Applications, 2005, pp. 374-379.
18. Ting K.M., Zheng Z. A Study of AdaBoost with Naive Bayesian Classifiers: Weakness and Improvement. Computational Intelligence, 2003, Vol.19, No. 2, pp. 186-200.
19. Mease D., Wyner A., Buja A. Boosted Classification Trees and Class Probability. Journal of Machine Learning Research, 2007, No. 8, pp. 409-439.
20. Grim I., Pudil P. Somol. P. Boosting in probabilistic neural networks. Object recognition supported by user interaction for service robots, 2002, vol.2, pp. 126-139.
21. Wolpert D.H. Stacked generalization. Neural Networks, 1992, vol.5, No.2, pp. 241-259.
22. Ting K.M., Witten, I.H. Stacked generalization: when does it work? Proceedings of the Fifteenth international joint conference on Artifical intelligence, 1997, Vol.2, pp. 866-871.
23. Breiman L. Bagging Predictors. Technical Report No. 421, 1994. URL: https://www.stat.berkeley.edu/~breiman/bagging.pdf (Accessed: 14.02.2017).
24. Ho T.K. The Random Subspace Method for Constructing Decision Forests. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, Vol. 20 (8), pp. 832-844.
25. Bryll R. Attribute bagging: improving accuracy of classifier ensembles by using random feature subsets. Pattern Recognition, 2003, Vol. 36 (6), pp. 1291-1302.
26. Skurichina M., Duin R. Bagging, Boosting and the Random Subspace Method for Linear Classifiers. Pattern Analysis & Applications, 2002, Vol.5, Issue 2, pp.121-135.
УДК 519.237.5
Базилевский Михаил Павлович,
к. т. н., доцент кафедры «Математика», Иркутский государственный университет путей сообщения,
e-mail: mik2178@yandex. ru
Носков Сергей Иванович,
д. т. н., профессор кафедры «Информационные системы
и защита информации», Иркутский государственный университет путей сообщения,
e-mail: [email protected]
Информация о статье
Дата поступления: 10 мая 2017 г.
DOI: 10.26731/1813-9108.2017.3(55).101-105 M. P. Bazilevsky,
Ph.D. in Engineering Science, Assoc. Prof., the Subdepartment of
Mathematics, Irkutsk State Transport University, e-mail: [email protected] S. I. Noskov
Doctor of Engineering Science, Prof., the Subdepartment of Information Systems and Information Protection, Irkutsk State Transport University, e-mail: [email protected]
Article info
Received: May 10, 2017
ФОРМАЛИЗАЦИЯ ЗАДАЧИ ПОСТРОЕНИЯ ЛИНЕЙНО-МУЛЬТИПЛИКАТИВНОЙ РЕГРЕССИИ В ВИДЕ ЗАДАЧИ ЧАСТИЧНО-БУЛЕВОГО ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ
FORMALIZATION OF THE PROBLEM OF CONSTRUCTION OF LINEAR MULTIPLICATIVE REGRESSIONS IN THE FORM OF A PARTIAL-BOOLEAN LINEAR PROGRAMMING PROBLEM
Аннотация. При построении регрессионных моделей одной из главных проблем является выбор их структурной спецификации. В настоящее время таких спецификаций уже существует очень большое количество, и это число постоянно растет. Статья посвящена построению линейно-мультипликативных регрессий, относящихся к классу линейных по параметрам моделей, в которых в качестве регрессоров используются различные комбинации произведений независимых переменных. В настоящее время для построения таких моделей применяется технология организации «конкурса» моделей, которая состоит в формировании множества их альтернативных вариантов с заданными заранее свойствами и последующем выборе наиболее приемлемого варианта на основе совокупности формальных и содержательных критериев. В такой постановке задача является весьма трудоёмкой. Поэтому с целью снижения времени её решения задача построения линейно-мультипликативной регрессии формализована в виде задачи частично-булевого линейного программирования. При этом с помощью линейных ограничений можно контролировать характер вхождения независимых переменных в правую часть линейно-мультипликативных регрессий.
Ключевые слова: регрессионная модель, структурная спецификация, «конкурс» моделей, линейно-мультипликативная регрессия, частично-булево линейное программирование.
Abstract. When constructing regression models, one of the main problems is the .selection of their structural specification. At present, there are already very large numbers of such specifications, and these numbers are constantly growing. The article focuses on
© М. П. Базилевский, С. И. Носков, 2017
101
