CC BY
113
МАТЕМАТИЧЕСКИЕ И ИНСТРУМЕНТАЛЬНЫЕ МЕТОДЫ
ПРОГНОЗИРОВАНИЕ ПОКАЗАТЕЛЕЙ ИНВЕСТИЦИЙ НА ОСНОВЕ МЕТОДА ДЕРЕВЬЕВ РЕШЕНИЙ
Китова Ольга Викторовна
доктор экономических наук, профессор, заведующая кафедрой информатики РЭУ им. Г. В. Плеханова.
Адрес: ФГБОУ ВО «Российский экономический университет имени Г. В. Плеханова», 117997, Москва, Стремянный пер., д. 36. E-mail: olga.kitova@mail.ru
Колмаков Игорь Борисович
доктор экономических наук, профессор кафедры информатики РЭУ им. Г. В. Плеханова. Адрес: ФГБОУ ВО «Российский экономический университет имени Г. В. Плеханова», 117997, Москва, Стремянный пер., д. 36. E-mail: kolibor@rambler.ru
Пеньков Илья Андреевич
аспирант кафедры кафедры информатики РЭУ им. Г. В. Плеханова.
Адрес: ФГБОУ ВО «Российский экономический университет имени Г. В. Плеханова», 117997, Москва, Стремянный пер., д. 36. E-mail: i.job.penkov@gmail.com
В статье рассмотрены особенности моделей краткосрочного прогноза, реализованные на базе метода деревьев решений применительно к задаче регрессии. Дано описание основных характеристик метода деревьев решений, использующего алгоритм CART. Обосновывается необходимость применения альтернативных интеллектуальных методов прогнозирования ввиду усложнения и высокой степени неопределенности политических и социально-экономических процессов. Описан механизм итогового обобщения прогнозов. Предложено несколько вариантов реализации моделей, разработанных с использованием языка программирования Python. Проведены компьютерные эксперименты для настройки параметров моделей, позволяющих обеспечивать приемлемые результаты при прогнозировании показателей инвестиций.
Ключевые слова: показатели инвестиций, краткосрочное прогнозирование, алгоритм CART, система гибридных моделей.
FORECASTING THE INVESTMENT INDICATORS ON THE BASIS OF SOLUTION TREES
Kitova, Olga V.
Doctor of Economics, Professor, Head of the Department for Information Science of the PRUE. Address: Plekhanov Russian University of Economics, 36 Stremyanny Lane, Moscow, 117997, Russian Federation. E-mail: olga.kitova@mail.ru
Kolmakov, Igor B.
Doctor of Economics, Professor of the Department for Information Science of the PRUE. Address: Plekhanov Russian University of Economics, 36 Stremyanny Lane, Moscow, 117997, Russian Federation. E-mail: kolibor@rambler.ru
Penkov, Ilya A.
Post-Graduate Student of the Department for Information Science of the PRUE.
Address: Plekhanov Russian University of Economics, 36 Stremyanny Lane, Moscow, 117997,
Russian Federation.
E-mail: i.job.penkov@gmail.com
The article shows specific features of short-term forecast models, which were realized on the basis of the solution trees method applied to regression task. The authors provide the description of key characteristics of the trees solution method using CART algorithm. The necessity to use alternative intellectual methods of forecasting was grounded due to more difficult and highly uncertain nature of political and social-economic processes. The mechanism of final summing-up of forecasts was described. The authors put forward several variants of implementing models designed by Python programming. Computer experiments were conducted to adjust model parameters that can guarantee acceptable results in forecasting investment indicators.
Keywords: investment indicators, short-term forecasting, CART algorithm, system of hybrid models.
Разработка прогнозов является неотъемлемым элементом при создании стратегии экономического развития страны. Качество разработанной стратегии напрямую зависит от возможностей прогнозных моделей, к которым в последнее время предъявляют все более строгие требования ввиду неопределенности соци-ально-эко-номических процессов, усиления неустойчивости механизмов развития экономики, особенно в условиях кризисов или политико-экономических ограничений, изменчивости производственно-экономических отношений, нестационарности большинства процессов, короткой актуальной части временного ряда и др. В подобных условиях усложняется задача обнаружения закономерностей и тенденций в динамике поведения основных макроэкономических показателей, отражающих состояние экономики.
Решение этой задачи способствует определению направления развития экономики, т. е. позволяет осуществлять выбор
вектора краткосрочного развития. Понимание закономерностей социально-экономического развития определяет возможности достижения стратегических целей.
Реализация процедур, направленных на разработку моделей, позволяющих обнаружить скрытые зависимости и тенденции в поведении макроэкономических показателей, зависит от наличия определенных методов и инструментов экономического моделирования и прогнозирования [3].
В силу описанных причин, усложняющих возможности прогнозирования макроэкономических показателей, при разработке прогнозных моделей необходимо учитывать предельные возможности тех или иных применяемых методов и инструментов. Кроме того, важно иметь возможность рассматривать поведение показателя в его взаимосвязи с другими экономическими переменными. Такая возможность может быть обеспечена в рамках концепции факторного прогнозирования.
В моделях с факторами прогнозируемый показатель зависит от макроэкономических переменных, которые в соответствии с экономической теорией и логикой социально-экономического процесса, а также на основе предварительного анализа, включающего исследование тренда, сезонности, корреляции, коинтеграции факторов и др., наиболее достоверно способны обеспечивать приемлемый результат прогнозирования. Другим подходом является использование моделей автопрогнозирования.
Для прогнозирования социально-экономических показателей допустимо использовать оба подхода, однако необходимо проводить оценку качества и точности моделей, используя ретроверификацию, когда рассчитанные по модели ретропрог-нозы сравниваются с фактическими данными.
Существующие традиционные методы прогнозирования, базирующиеся на эко-нометрических принципах моделирования, в основном включающие регрессионные модели, в условиях неопределенности и нестабильности поведения экономических показателей не способны обеспечивать результат, отвечающий требованиям точности и качества [4].
На наш взгляд, в современных условиях функционирования социально-экономических систем проблема получения приемлемого прогноза может быть решена за счет применения интеллектуальных методов, реализованных на принципах машинного обучения. К таким методам относятся искусственные нейронные сети, генетические алгоритмы, деревья решений, машины опорных векторов, кластеризация и др.
Нами рассмотрены функциональные возможности метода деревьев решений для прогнозирования показателей инвестиций.
Важность исследования показателей инвестиций определяется тем, что определе-
ние вектора краткосрочного развития для достижения стратегических целей и обеспечение экономического роста требуют объективного понимания и анализа ресурсных возможностей, что выделяет инвестиции в качестве регулятора экономической динамики.
В рамках работ по проекту РФФИ на кафедре информатики РЭУ им. Г. В. Плеханова разрабатывается программно-инструментальный комплекс «Гибридная информационная система прогнозирования (ГИСП)», который архитектурно включает в себя, помимо балансово-эконометрических моделей, модули прогнозирования на основе методов искусственного интеллекта: нейронные сети, деревья решений, машины опорных векторов.
На рис. 1 представлена структура гибридной системы, в которой в рамках подсистемы интеллектуальных моделей прогнозирования строятся модели для тех проблемных показателей, результаты прогноза по которым в рамках эконометриче-ской модели не удовлетворяют заданным критериям при проведении ретроверифи-кации. Ключевым элементом в составе системы является модуль прогнозирования на основе методов машинного обучения.
Описываемый в рамках данной статьи метод деревьев решений вносит значимый вклад в получение итогового прогноза с использованием подхода консолидации.
Идея консолидации заключается в построении результирующей модели по результатам прогнозов, полученных альтернативными методами. Для каждой модели альтернативного прогноза вычисляется ошибка (средняя относительная или сред-неквадратическая), оценивающая качество модели. На основании значений ошибок вычисляются весовые коэффициенты каждой альтернативной модели прогнозирования. При этом для моделей с меньшим значением ошибки ставится в соответствие
весовой коэффициент с большим значени- ошибки - весовой коэффициент с мень-ем, а для моделей с большим значением шим значением [2].
Рис. 1. Структура гибридной информационной системы прогнозирования
Деревья решений
Деревья решений (decision trees) относятся к числу самых популярных и мощных методов, позволяющих решать задачи классификации и прогнозирования. Если зависимая, т. е. целевая, переменная принимает дискретные значения, при помощи метода дерева решений решается задача классификации. Если же зависимая переменная принимает непрерывные значения, то дерево решений устанавливает зависимость этой переменной от независимых переменных, т. е. решает задачу численного прогнозирования. Деревья решений в большинстве случаев не требуют предположений о статистическом распределении значений признаков, в отличие от методов, основанных на статистическом подходе (логистическая и линейная регрессия, классификатор Байеса).
В основе деревьев решений лежит процесс рекурсивного разбиения входных наблюдений на подмножества, относящиеся к классам. Разбиение происходит с помощью решающих правил, в которых осуществляется проверка значений входных признаков по заданному условию. Процесс построения дерева решений является ре-
курсивным, так как на каждом следующем шаге разбиения используются результаты, полученные на предыдущем шаге.
Модели деревьев решений обладают следующими преимуществами:
- позволяют упростить понимание задачи, а также объяснить, почему конкретный объект относится к тому или иному классу. Это свойство обычно называют интерпретируемостью;
- не требуют непосредственного выбора атрибутов (независимых переменных). На вход можно подавать все атрибуты, алгоритм сам выберет только наиболее значимые из них, которые будут использованы для конструирования дерева;
- способны решать задачи как классификации, так и регрессии;
- точность моделей деревьев решений сопоставима с другими методами построения классификационных моделей (нейронные сети, статистические методы);
- быстрый процесс обучения;
- способны решать такие задачи, в которых отсутствует априорная информация о виде зависимости между исследуемыми данными.
Эффективный процесс построения дерева решений возможен при выполнении следующих основных условий:
1) исследуемые данные должны быть представлены в виде структурированного набора, в котором вся информация об объекте или наблюдении должна быть выражена совокупностью атрибутов;
2) определение категорий, к которым относятся наблюдения, должно происходить предварительно за счет обучения с учителем;
3) обеспечение принципиальной возможности различимости классов, т. е. установление факта принадлежности или непринадлежности примера;
4) обеспечение достаточного количества примеров для обучающего множества, которое зависит от сложности модели.
Для построения моделей деревьев решений мы использовали алгоритм CART (classification and regression trees), который предназначен для построения бинарного дерева решений. Каждый узел бинарного дерева при разбиении имеет только двух потомков, называемых дочерними ветвями. Дальнейшее разделение ветви зависит от того, много ли исходных данных описывает данная ветвь. На каждом шаге построения дерева правило, формируемое в узле, делит заданное множество примеров на две части. На первой итерации строятся все возможные гиперплоскости, которые бы разбивали исходное пространство на два. Для каждого такого разбиения пространства считается количество наблюдений в каждом из подпространств разных классов. В результате выбирается такое разбиение, которое максимально выделило в одном из подпространств наблюдения одного из классов. Это разбиение будет корнем дерева решений, имеющим два разбиения. Выбор атрибута, на основе которого осуществляется разбиение, происходит в соответствии с определенными мерами: индекс Джини, мера энтропии.
На последующих итерациях разбиение будет проводиться для каждой ветви, пока либо не будут получены узлы, содержащие
объекты только одного класса (эти узлы будут объявлены листами, т. е. элементами дерева, не имеющими разбиений), либо не будет достигнуто заданное значение ошибки в узле дерева (по отношению количества неправильно определенных примеров к общему числу примеров), либо количество наблюдений в узле не окажется меньше заданного минимального количества, либо не будет достигнуто заданное значение глубины дерева, т. е. количество последовательных разбиений. Однако в каждом из этих случаев может произойти переобучение дерева. Для сокращений вероятности такого исхода может применяться метод перекрестной проверки, являющийся оригинальной частью алгоритма CART. Перекрестная проверка представляет собой путь выбора окончательного дерева при условии, что набор данных имеет небольшой объем или же записи набора данных настолько специфические, что разделить набор на обучающую и тестовую выборку не представляется возможным. В данной статье рассмотрен процесс построения дерева решений для непрерывных значений признаков, представленных рядами значений показателей инвестиций.
Процесс построения регрессионного дерева решений аналогичен построению классификационного дерева, но вместо меток классов в листьях располагаются числовые значения. По существу, регрессионные деревья отражают кусочно-постоянную функцию входных переменных.
На рис. 2 представлено дерево решений, построенное для двух входных переменных (Х1 и X2) и содержащее 5 листовых элементов. График на рисунке обозначает кусочно-постоянную функцию, которая отражает разбиения в дереве решений.
Результатом построения регрессионного дерева будет такое разбиение исходного множества входных данных, при котором в каждом листе должны оказаться наблюдения с близкими значениями целевой (выходной) переменной. Для определения чистоты узла используется дисперсия, так
как чем ближе значения в узле к значени- биением будет то, которое обеспечит мак-ям целевой переменной, тем меньше дис- симальное уменьшение дисперсии выход-персия. Таким образом, наилучшим раз- ной переменной.
11 13
Рис. 2. Регрессионное дерево решений
Для снижения вероятности недообучения или переобучения регрессионного дерева, которое является более сложным, чем классификационное дерево, чтобы обеспечить компромисс между точностью и сложностью дерева, применяют процедуры упрощения. Упрощение дерева путем отсечения ветвей основано на анализе квадратичной ошибки на тестовом множестве: отсекаются все узлы, удаление которых не приводит к росту ошибки, превышающему заданное значение.
Компьютерное моделирование
Для проведения компьютерного эксперимента по выявлению наилучших моделей для краткосрочного прогнозирования показателей инвестиционной сферы были взяты показатели инвестиций в основной
Перечень показателей инве
капитал по видам экономической деятельности, наблюдаемые Федеральной службой государственной статистики и по которым не были получены удовлетворяющие заданным критериям результаты в эконометрической модели на основе системы одновременных регрессионных уравнений (табл. 1). Каждый показатель представляет собой временной ряд, имеющий наблюдения за 2005-2013 гг. в квартальном режиме. Данные взяты до 2013 г. включительно в связи с тем, что начиная с 2014 г. произошло резкое изменение макроэкономической конъюнктуры, вызванное далеко не экономическими причинами, что отразилось на резком изменении тенденции в динамике поведения показателей.
Т а б л и ц а 1
иций для прогнозирования
Обозначение Показатели инвестиций в основной капитал (ОК) по видам экономической деятельности
1_ДИР Инвестиции в ОК - сельское хозяйство, охота и лесное хозяйство
1_ЫОЫ Инвестиции в ОК - добыча полезных ископаемых, кроме топливно-энергетических
1_ММЕ Инвестиции в ОК - производство машин и оборудования
Инвестиции в ОК - оптовая и розничная торговля
1_Ж Инвестиции в ОК - гостиницы и рестораны
Для приемлемых результатов прогнозирования по большинству показателей инвестиций начиная с 2014 г. необходимы дополнительные исследования, которые
ведутся на текущий момент, а также разработка более персонализированных моделей, способных учитывать или предсказывать резкие колебания в развитии дина-
мики показателей. Таким образом, количество наблюдений, используемых для анализа и прогнозирования, равно 35. В процессе реализации алгоритмов обучения исходное множество разбивается на обучающее, включающее 75% наблюдений, и тестовое, в которое входит 25% наблюдений.
Поскольку мы исследуем тенденции временного ряда, то разбиение не осуществляется случайным образом, чтобы не возникло ситуации, когда обученная на более поздних наблюдениях модель будет предсказывать по тестовому множеству более ранние. Соответственно, первые 75% значений ряда являются обучающей вы-
боркой, оставшиеся 25% - тестовой выборкой.
Для прогнозирования на основе деревьев решений будем использовать факторные модели, т. е. прогноз показателей инвестиций осуществляется на основе факторов, выбранных для создания прогнозной модели по каждому инвестиционному показателю. Используемые факторы являются макроэкономическими переменными, взятыми в определенных единицах измерения и форматах (абсолютные значения, доля в ВВП, цепной индекс и т. д). В табл. 2 представлены факторы, описывающие каждый из исследуемых показателей инвестиций.
Т а б л и ц а 2
Факторы, описывающие зависимость целевой переменной
Целевая переменная Входные переменные
I_AHF I_AHF_1 M2 Rref SE s1 s4
I_NON I_NON_1 GI2 FT Rref s1 s4
I_MME I_MME_1 MNMacherm $/p MNcars s2 s4
I_WRT I_WRT_1 GI2 FT Rref s1 s4
I_HR I_HR_1 GI2 FT Rref s1 s4
Описанные в табл. 2 факторы имеют следующее описание:
I_AHF_1, I_NON_1, I_MME_1, I_WRT_1, I_HR_1 - значения исходного ряда соответствующего инвестиционного показателя, сдвинутые на один период;
М2 - темп прироста денежной массы (% к предыдущему кварталу);
Rref - ставка рефинансирования Центробанка (% годовых);
SE - чистый экспорт товаров и услуг (% от ВВП);
GI2 - валовое накопление (% от ВВП);
FT - производство товаров в ВВП (% от ВВП);
MNMacherm - экспорт в страны вне СНГ - машины, оборудование, транспортные средства (млн долл.);
MNcars - выпуск легковых автомобилей (шт.);
$/p - покупательная способность доллара (в долях к предыдущему кварталу);
s1, s2, (s3), s4 - сезонные факторы 1, 2, (3) и 4-го кварталов.
В качестве оценки результата работы моделей выбрана мера среднеквадратиче-ской ошибки на тестовом множестве. Эта мера отражает степень близости значений процесса и его ретропрогноза. Предварительно для всех значений факторов проводится процедура предобработки, в результате которой все значения ряда становятся стандартизованными со средним значением, равным 0, и дисперсией, равной 1. Это необходимо делать ввиду чувствительности алгоритмов машинного обучения к масштабу и размерности исходных значений признаков.
Для определения наилучших моделей, приемлемых для прогнозирования показателей инвестиций, с помощью языка программирования для научных вычислений Python были реализованы две модификации моделей на основе метода деревьев решений. Базовой частью каждой из предложенных моделей является алгоритм CART.
В первой модификации происходит моделирование зависимости целевой переменной от входных факторов на основе сравнения результатов, генерируемых моделями при различных наиболее вероятных значениях параметров, которые необходимы для реализации алгоритма CART. Среди наиболее значимых следует выделить параметр глубины дерева (depth) и параметр количества признаков, входных переменных (features), на основании которых алгоритмом CART будет определяться следующее наилучшее разбиение в узле. Ключевой особенностью этой модификации является автоматический выбор наилучшего значения одного параметра при заданном, фиксированном значении дру-
гого параметра. Так, в описываемом компьютерном эксперименте в качестве фиксируемого параметра выступает параметр features, в зависимости от значения которого выбирается наилучшее значение параметра глубины дерева (depth). Возможными значениями параметра features является множество с дискретными значениями от 1 до 6 (максимальное значение 6 соответствует количеству входных переменных модели). Параметр depth принимает значения от 2 до 10. В табл. 3 зафиксированы результаты компьютерного эксперимента этой модификации. В скобках рядом со значением среднеквадратической ошибки приводится значение параметра depth.
Т а б л и ц а 3
Результаты компьютерного эксперимента с настраиваемым параметром features
Значения параметров
Показатель features
1 2 3 4 5 6
I_AHF 17,80 (9) 16,05 (4) 14,72 (3) 12,04 (5) 10,15 (9) 10,34 (6)
I_NON 12,93 (5) 10,90 (6) 6,97 (4) 8,64 (7) 11,25 (3) 13,80 (3)
I_MME 3,39 (2) 4,68 (3) 3,77 (5) 3,29 (3) 3,42 (10) 3,70 (2)
I_WRT 18,69 (8) 26,17 (10) 16,31(5) 16,03 (4) 36,77 (10) 32,86 (9)
I_HR 6,45 (3) 7,73 (9) 7,10 (9) 6,45 (6) 8,38 (7) 7,90 (5)
В табл. 4 приведены результаты компьютерного эксперимента при использовании возможностей алгоритма АдаВооэ1:, позволяющего улучшать эффективность базового алгоритма обучения за счет пере-
настройки распределения весов после каждой итерации вызова. Такой подход позволяет фокусировать работу алгоритма на примерах с наибольшей ошибкой за счет присвоения больших весов.
Т а б л и ц а 4
Результаты компьютерного эксперимента алгоритма AdaBoost
Показатель AdaBoost (estimators)
50 100 500 1000
I_AHF 8,46 (5;9) 9,87 (2;4) 9,49 (6;6) 9,35 (6;6)
I_NON 10,67 (1;5) 9,76 (1;5) 9,86 (1;5) 9,69 (1;5)
I_MME 2,62 (2;3) 2,57 (4;3) 2,52 (2;3) 2,56 (3;5)
I_WRT 20,33 (3;5) 20,64 (4;4) 21,08 (4;4) 20,98 (4;4)
I_HR 5,34 (2;9) 5,6 (1;3) 5,57 (3;9) 5,32 (2;9)
Результаты прогноза зафиксированы для разных значений параметра estimators, соответствующего количеству циклов вызова алгоритма AdaBoost. В скобках рядом
со значением среднеквадратической ошибки для каждого случая приводятся параметры моделей первой модификации метода деревьев решений. Алгоритм Ада-
Boost применялся к моделям, имеющим те же самые значения параметров для обеспечения сопоставимости результатов и отслеживания изменения эффективности. Таким образом алгоритм запускался по каждому показателю для каждого значения features при заданном значении параметра estimators. После этого из 6 полученных значений среднеквадратической ошибки было выбрано минимальное и занесено в таблицу с параметрами depth и features, при которых и было показано минимальное значение ошибки.
На рис. 3-4 представлены сопоставления результатов прогноза с фактическими данными моделей на тестовом множестве в виде графиков для отдельных показателей. При этом выбраны лучшие модели для каждого показателя. На графиках данные выводятся для тестового множества, содержащего 25% наблюдений исходного ряда. Все графики разработаны с использованием инструментов визуализации, доступных в Python.
Так, на рис. 3 приводится графическое представление результатов лучшей модели первой модификации метода деревьев решений для показателя I_AHF. Минимум среднеквадратической ошибки (10.15) был показан при features = 5 и depth = 9.
features I WRT.
= 4 и depth = 4 для показателя
Рис. 3. Результаты моделирования показателя 1_АНБ
Рис. 4 демонстрирует результаты работы модели со значением среднеквадрати-ческой ошибки 16.03 и параметрами
Рис. 4. Результаты моделирования показателя 1_ШИТ
Результаты сравнения эффективности исходной модели и модели с применением алгоритма АдаВооэ1 (с лучшими результатами по значению среднеквадратической ошибки для обоих случаев) для показателя продемонстрированы на рис. 5.
Рис. 5. Графическое сравнение эффективности моделей показателя 1_АНБ
Как видно из результатов, алгоритму АдаВооэ! для данного показателя 1_АНБ удалось улучшить эффективность и повысить качество модели. Однако для показателей 1_ЫОЫ и значимых улучшений получить не удалось. Это может объясняться высокой неоднородностью и специфичностью данных обучающей выборки. Стоит отметить, что в большинстве случаев (как в данном примере, так и в целом) эффективность моделей прогнозирования может быть улучшена при внедрении алгоритма машинного обучения Ада-
Boost. Таким образом, модели на основе метода деревьев решений при использовании различных подходов повышения эффективности могут справляться с задачей краткосрочного прогнозирования макроэкономических показателей при доведении моделей до уровня индивидуализированной, соответствующей динамике поведения показателей настройки параметров. Важно отметить, что алгоритмы реализации моделей деревьев решений активно интегрируются в системы поддержки принятия решений как механизм, позволяющий специалистам-аналитикам настраивать систему в соответствии с бизнес-задачами. Принятие решений руководством компании происходит на основе
адаптированных под бизнес-логику моделей анализа данных, однако это может не обеспечивать понимание содержательных характеристик процесса принятия решений. Эта задача может быть решена за счет интеграции алгоритмов интеллектуального анализа данных с системами управления бизнес-правилами (ВИМБ), что позволит получать описательные процедуры моделирования основных бизнес-процессов с использованием бизнес-логики для выявления узких мест на предприятии [1]. В рамках такого подхода формируются достаточно понятные утверждения (в формате бизнес-правил), которые дают обоснованную и лаконичную характеристику бизнес-действиям.
Список литературы
1. Вейнберг Р. Р., Московой И. Н. Применение систем управления бизнес-правилами для поддержки принятия решений стратегического корпоративного менеджмента // Управленец. - 2010. - № 9-10. - С. 28-34.
2. Демидова Л. А., Пылькин А. Н., Скворцов С. В., Скворцова Т. С. Гибридные модели прогнозирования коротких временных рядов. - М. : Горячая линия - Телеком, 2012.
3. Китова О. В., Дьяконова Л. П., Пеньков И. А. Гибридный подход к прогнозированию показателей инвестиционной сферы // Менеджмент и бизнес-администрирование. -2015. - № 3. - С. 111-115.
4. Китова О. В., Колмаков И. Б., Шарафутдинова А. Р. Анализ точности и качества краткосрочного прогноза показателей социально-экономического развития РФ // Вестник Российского экономического университета имени Г. В. Плеханова. - 2013. - № 9 (63). -С. 111-119.
References
1. Veynberg R. R., Moskovoy I. N. Primenenie sistem upravleniya biznes-pravilami dlya podderzhki prinyatiya resheniy strategicheskogo korporativnogo menedzhmenta [Applying of Business Rule Management Systems for Decision Support of Strategic Corporate Management]. Upravlenets, 2010, No. 9-10, pp. 28-34. (In Russ.).
2. Demidova L. A., Pyl'kin A. N., Skvortsov S. V., Skvortsova T. S. Gibridnye modeli prog-nozirovaniya korotkikh vremennykh ryadov [Hybrid Forecasting Models for Short Time Series]. Moscow, Goryachaya liniya - Telekom, 2012. (In Russ.).
3. Kitova O. V., D'yakonova L. P., Penkov I. A. Gibridnyy podkhod k prognozirovaniyu po-kazateley investitsionnoy sfery [Hybrid Approach to Forecasting Investment Measures]. Me-nedzhment i biznes-administrirovanie [Management and Business Administration], 2015, No. 3, pp. 111-115. (In Russ.).
4. Kitova O. V., Kolmakov I. B., Sharafutdinova A. R. Analiz tochnosti i kachestva kratko-srochnogo prognoza pokazateley sotsial'no-ekonomicheskogo razvitiya RF [Accuracy and Quality Analysis of Short-Term Forecasting of Russia's Socio-Economic Development Indicators]. Vestnik Rossiyskogo ekonomicheskogo universiteta imeni G. V. Plekhanova [Vestnik of the Plekhanov Russian University of Economics], 2013, No. 9 (63), pp. 111-119. (In Russ.).
