Методология прогнозирования показателей сферы научных исследований и инноваций с помощью нейронных сетей Текст научной статьи по специальности «Экономика и бизнес»

УДК 330.43(045)

Методология прогнозирования показателей сферы научных исследований и инноваций с помощью нейронных сетей

КОЛМАКОВ ИГОРЬ БОРИСОВИЧ, доктор экономических наук, профессор кафедры информатики,

Российский экономический университет им. Г. В. Плеханова, Москва, Россия

KoLibor@rambLer.ru

ДОМОЖАКОВ МАТВЕЙ ВАЛЕРЬЕВИЧ, аспирант кафедры информатики, Российский экономический

университет им. Г В. Плеханова, Москва, Россия

matkhak@yandex.ru

Аннотация. Разработка систем прогнозирования экономики страны в целом и ее различных подсистем является одной из важнейших задач государства. Одна из подсистем национальной экономики - сфера научных исследований и инноваций (СНИИ). Следует отметить, что развитие экономики в значительной степени зависит от уровня развития научно-инновационной сферы. Прогноз показателей этой сферы весьма проблематичен, поскольку не существует жестких структурных пропорций относительно других отраслей экономики. Актуальность работы определена необходимостью комплексного взаимоувязанного рассмотрения в рамках единой модели процессов экономического развития страны и СНИИ. Целью работы является разработка методологии, экономико-математических моделей и инструментальных средств для краткосрочного прогнозирования показателей СНИИ. Авторами рассмотрена система нейросетевого прогнозирования экономических показателей как часть гибридной регрессионной и интеллектуальной системы прогнозирования и ее реализация на примере показателей СНИИ Российской Федерации. Из 75 показателей сферы исследований и инноваций Российской Федерации были успешно смоделированы и получены прогнозные значения по 72 показателям (96%). На основании компьютерного эксперимента сделан вывод, что использование подобной системы позволяет не только повышать точность и качество прогнозных расчетов, но и применять их в контурах управления для достижения целевых показателей. Дальнейшие исследования направлены на оптимизацию параметров системы с целью повышения производительности без потерь точности и качества, совершенствование сервисов управления расчета моделей показателей.

Ключевые слова: сфера исследований и инноваций; системы регрессионных уравнений; модели краткосрочного прогноза; ретроверификация прогноза; система нейросетевых моделей прогноза; система гибридных моделей.

Forecasting Methodology of Scientific investigations and innovations Sphere's indicators by Means of Neural Networks

KOLMAKOV IGOR B., Doctor of Economics, Professor, Department of Informatics, PLekhanov Russian University

of Economics, Moscow, Russia

KoLibor@rambLer.ru

инновационный менеджмент

DoMoZHAKoV MATVEY v., PhD student, Department of Informatics, PLekhanov Russian University of

Economics, Moscow, Russia

matkhak@yandex.ru

abstract. The aim of the work is to elaborate the methodology, economic and mathematic models and tool means for short-term forecasting the scientific investigations and innovations sphere's indicators. It considers the system of neural networks forecasting the economic indicators as a part of hybrid, regressive and intellectual forecasting system, and its implementation as exemplified by the scientific investigations and innovations sphere's indicators in the Russian Federation. The forecasting data by 72 measures (96%) out of 75 scientific investigations and innovations sphere's indicators were successfully modeled and received. The conclusion is made on the basis of computer experiment that the use of such a system allows not only to raise the accuracy and quality of the forecast calculations, but to use them also in management outlines for achieving the target indicators. The further investigations are aimed at system parameters' optimization in order to improve the efficiency without losing accuracy and quality, improving the management service of indicators' models calculations. Keywords: innovations; investigations and innovations sphere; the systems of regressive equations; short-term forecasting models; forecasting retro verification; the system of neural networks forecasting models; the system of hybrid models.

Росстат ежегодно публикует в издании «Российский статистический ежегодник» раздел показателей (№ 22) «Научные исследования и инновации» [1], в котором приводятся оценки состояния и структура организаций, кадров, подготовки кадров, финансирования, результативности и инновационной деятельности отечественной науки. Анализ, прогнозирование, а значит, и своевременное принятие решений по контролю за развитием отрасли — важнейшая задача государства, нацеленного на развитие конкурентоспособной экономики и создание благоприятных условий проживания. Состав показателей Росстата дополнен показателями сферы исследований и разработок1.

В представленной работе используется подход, основанный на применении комплексной модели национальной экономики, состоящей из блоков показателей, объединенных сферой экономической деятельности. Технически подобная модель реализована в виде совокупности информационно-аналитических систем поддержки принятия решений (ИАС ППР), позволяющих в автоматизированном режиме во взаимодействии с информационной базой эконометрических моделей осуществлять прогнозы показателей. Совокупность ИАС ППР, распределенных во времени и/или пространстве,

1 См.: Наука России в цифрах 2007-2012: стат. сб. М.: ЦИСН, 2007-2012; Индикаторы науки: 2016: стат. сб. / Нац. исслед. ун-т «Высшая школа экономики». М.: НИУ ВШЭ, 2016. 304 с.

объединенных общими параметрами расчетов, сценарными условиями и форматами представления данных и расчетов, образуют метасистему, в рамках которой возможно выполнение параллельных независимых вычислений прогнозных показателей. Результаты автономных расчетов, представленные в унифицированных совместимых форматах, могут быть объединены и воспроизведены на любом из комплексов, входящих в состав подсистем метасистемы. В работе рассматривается ИАС ППР для сферы научных исследований и инноваций (СНИИ).

Главное преимущество разработанной системы — оперативная возможность изменения сценарных условий и последующий перерасчет прогнозных значений. Для любого сценарно-фиксируемого изменения условий функционирования система позволяет практически мгновенно получать расчетные прогнозные значения развития сферы исследований и инноваций.

На рис. 1 приведены блоки прогноза показателей СНИИ. На этой схеме представлены два направления прогноза: показателей сферы исследований и разработок; показателей инновационной сферы.

Блок прогноза показателей сферы исследований и разработок содержит показатели по следующим разделам:

• организации, выполняющие исследования и разработки;

• кадры науки;

• подготовка научных кадров;

Рис. 1. Блок-схема прогноза показателей снии

• финансирование науки;

• результативность исследований и разработок.

Блок прогноза технологических, организационных и маркетинговых инноваций содержит показатели по разделам:

• использование информационно-коммуникационных технологий;

• инновации;

• нанотехнологии.

Базовая версия модели содержит почти все показатели блока прогноза первого направления.

Показатели второго раздела прогноза (см. рис. 1) — технологические, организационные и маркетинговые инновации не могут быть полностью включены в систему моделей регрессионного прогноза, так как отдельные отчетные показатели несопоставимы, а по некоторым из них имеются только короткие отчетные ряды.

Первой из подсистем описываемой ИАС ППР является распределенная информационно-аналитическая метасистема (РИАМС). В системе РИАМС прогнозные расчеты основаны на построении сис-

темы регрессионных уравнений, в которых каждый показатель определяется как функция других показателей в соответствии с экономическим смыслом и строится соответствующая единая распределенная система уравнений. Пошаговое параллельно-последовательное решение исследуемых уравнений позволяет получать взаимоувязанные прогнозы показателей в зависимости от экзогенно задаваемых сценарных условий.

Аргументами уравнений в моделях блока прогноза показателей сферы исследований и разработок могут использоваться любые макропоказатели и показатели общесистемного блока. Модели расчетов прогнозных показателей представляются в виде систем регрессионных уравнений и тождеств. По итогам математических экспериментов для каждого уравнения отбираются статистически значимые аргументы, влияние которых соответствует логике экономических процессов.

Экономико-математические модели комплексного краткосрочного прогноза показателей прог-

инновационный менеджмент

Таблица 1

категоризация показателей

категория оценки качества оценки точности

«Хороший» R2 > = 0,4; F-stat > = Fma6; 0,6 <= DW<= 3,4 MAPE <= 0,15

«Плохой» R2 < 0,4; F-stat < Fmаб; 0,6 > DW или DW > 3,4 MAPE > 0,15

Источник: составлено авторами.

ноза сферы исследований и разработок и инноваций во взаимосвязи с макроэконометрической моделью экономики РФ2 описаны в работе [2].

Сценарные показатели определяют вид траекторий прогноза. Сравнение опорной траектории с возмущенной траекторией (по известным различиям сценарных условий) позволяет экспертам получать количественные оценки отличий и анализировать их. В действующих моделях к сценарным показателям относятся:

FW — средние экспортные цены на нефть Urals (в долл. США/баррель);

REZ — изменение международных золотовалютных резервов (в млрд долл. США);

M2 — темп изменения денежной массы (в %);

Rref — ставка рефинансирования Центрального банка Российской Федерации (в %);

SNRFBG — расходы федерального бюджета (в млрд руб.);

VVP — валовой внутренний продукт (ВВП) (в млрд руб.).

Для прогноза показателей научной сферы необходимо задавать дополнительные сценарные показатели:

ASGFB — ассигнования на науку из средств федерального бюджета (в млрд руб.);

ASGFB%F — ассигнования на науку из средств федерального бюджета (в % от федерального бюджета);

ASGFB%V — ассигнования на науку из средств федерального бюджета (в % от ВВП).

Методология и модели эконометрического прогноза показателей в увязке со сценарными

2 Свидетельство о государственной регистрации программы для ЭВМ «Программа реализации распределенной метасистемы эконометрических моделей прогноза» № 2013617339. Заявка от 27.06.2013 № 2012615488. Зарегистрировано в Реестре программ для ЭВМ 09.08.2013. Авторы-правообладатели: И. Б. Колмаков, О. В. Китова, С. В. Потапов.

условиями базируются на использовании трех систем:

• системы и принципов эконометрического моделирования;

• системы национальных счетов;

• системы экспертных оценок (вариантных наборов сценарных показателей и соответствующих им результатов расчетов).

категоризация показателей

В системе оценок качества регрессионных уравнений РИАМС использованы общепринятые критерии: коэффициент детерминации (Я2), критерий Дарбина-Уотсона (DW) и значение статистики Фишера (F-stat) [3]. Оценкой точности прогноза служит показатель средней абсолютной ошибки в процентах (МАРЕ). Определяются табличные значения статистики Фишера в зависимости от числа степеней свободы дисперсий ^таб). Границы указанных критериев в каждой из систем устанавливаются экспертно. Процессы ретроверификации автоматизированы и результаты расчетов оценок точности и качества становятся доступны исследователям, которые могут судить о точности прогнозных моделей и формировать характеристики качества прогноза показателей в категориях «плохой» — «хороший» (табл. 1). «Хорошие» показатели принимаются к прогнозированию с помощью эконометрических методов, соответственно «плохие» — пополняют список не принятых к прогнозированию.

В работе [4] приведены результаты анализа динамической ретроверификации краткосрочных прогнозов показателей сферы научных исследований и инноваций за 2012-2014 гг.: около 64 (85%) построенных моделей оказались «хорошими». В то же время примерно 11 (15%) показателей являются «плохими».

После получения предварительных результатов ретроверификации эконометрических моделей предпринимались попытки улучшить оценки качества и точности, но ряд показателей не может быть улучшен по объективным причинам. Одной из самых важных причин, ограничивающих возможность улучшить регрессионное уравнение для «плохого» показателя, является отсутствие наблюдаемых Росстатом аргументов, отражающих линейную зависимость между целью прогноза и его факторами. Но ввиду того что актуальность прогноза не снижается, предлагаются решения, заключающиеся в расчете прогноза таких показателей посредством использования интеллектуальных методов, исходя из внутренней структуры самого показателя и предполагаемой логики развития тенденций.

Методология гибридного прогнозирования

Авторами была предложена методология гибридного прогнозирования показателей СНИИ [5]. Основной принцип гибридного прогноза заключается в использовании сразу двух подсистем:

1) РИАМС;

2) распределенной метасистемы интеллектуальных методов прогноза (РИМП).

Описание алгоритма гибридного прогнозирования приведено в работе [5], общий алгоритм представлен на рис. 2. Задачей гибридной модели является расширение состава показателей, для которых может быть получен прогноз на заданную перспективу.

В представленной работе рассматриваются основные 75 показателей СНИИ. По результатам моделирования в каждой из систем осуществляется ретроверификация построенных моделей, которая заключается в сопоставлении расчетных данных модели и соответствующих отчетных данных за несколько последних периодов, что в конечном счете повышает степень доверия к прогнозам [6].

распределенная метасистема интеллектуальных методов прогноза

Все «плохие» показатели из РИАМС поступают в систему нейросетевых моделей. Искусственная нейронная сеть (ИНС) представляет собой совокупность нейронов — вычислительных элементов.

В качестве функции активации может быть выбрана любая дифференцируемая функция. Обычно

применяется сигмоидная функция. В зависимости от способа связи нейронов между собой существуют три основные обобщенные архитектуры [7-11]:

• однослойные сети прямого распространения;

• многослойные сети прямого распространения;

• рекуррентные сети.

Моделирование нелинейной зависимости между будущими значениями временного ряда и его предыдущими значениями и внешними факторами обусловливается архитектурой сети и используемой функцией активации.

В рассматриваемой подсистеме реализована сеть прямого распространения — многослойный персептрон (МП). В сетях подобного типа входной сигнал распространяется в прямом направлении от слоя к слою. МП имеет ряд управляемых параметров, которые формируют его структуру:

1) количество нейронов на входном слое;

2) количество нейронов на выходном слое;

3) функции активации на нейронах каждого слоя;

4) разбиение исследуемой выборки на обучающие и тестовые множества;

5) скорость обучения;

6) условия фиксации момента завершения обучения;

7) количество эпох обучения;

8) время обучения.

обучение инс

Важным шагом в обучении ИНС — подборке значений весов связей — является выбор обучающего и тестового множества. Общая выборка представляет собой набор пар отчетных данных («вход», «выход»), где «вход» — текущее значение временного ряда, «выход» — последующее. Задача нейронной сети состоит в прогнозировании следующего значения временного ряда исходя из текущего. Общий набор хп, где п — количество наблюдений, процесс разбиения представлен на рис. 3.

Для обучения нейронной сети используется алгоритм обратного распространения ошибки, использующий метод градиентного спуска. Подробно процедуры работы с искусственными нейронными сетями изложены в работе [7].

ретроверификация и прогнозирование

В РИМП, так же как и в подсистеме РИАМС, происходит ретроверификация прогноза показателей

инновдционныи менеджмент

Список показателей

Настройка сценарных условий

РИАМС

Ретроверификация модели

Да

Сводный список непринятых показателей

РИМП

1

Ретроверификация модели

Сводный список принятых показателей

Рис. 2. Алгоритм работы системы гибридного моделирования

моделей. Отчетный ряд уменьшается до п - 1 элементов, осуществляется прогноз на один период вперед, полученное расчетное значение сопоставляется с п-м отчетным наблюдением. В зависимости от четности п возможны два режима ретрове-рификации:

1) если п — четное, то ретроверификация происходит в рамках проверки модели на последнем наблюдении тестовой выборки;

2) если п — нечетное, то ретроверификация осуществляется на отдельном расчетном п-м элемен-

те и сравнивается с соответствующим отчетным значением.

Критерием точности ИНС служит МАРЕпп на последних четырех расчетных значениях. Если она менее экспертно заданной величины (15%), модель относится к категории «хороших».

«Хорошие» модели используются для прогнозирования исследуемых показателей сферы исследований и инноваций. Расчет происходит пошагово-рекуррентно — осуществляется прогноз на один период, выходное значение снова подается на вход

Исходный набор

Текущее Последующее

XJ Х2

Х2 хз

хз Х4

Х4 Х5

Х5 Хб

Xб Х7

XI Х8

XS Хр

Хо ХЮ

ХЮ XII

XII XJ2

Х12 XJ3

... ...

Обучающая выборка

Текущее Последующее

XI ХЗ

ХЗ Х4

XS Хб

Х7 XS

Х9 ХЮ

XI1 хп

... ...

Тестовые ттанттый

Текущее Последующее

Х2 ХЗ

Х4 Х5

Хб х-

ХЗ Х9

ХЮ ХП

Х12 Х13

Рис. 3. разбиение общей выборки на обучающее и тестовое множества

модели, получая последующее, и т.д. Следует отметить, что в современных ситуационно-сложных нестабильных экономических условиях (2014-2017 гг.) прогнозировать лучше только на один-два периода, хотя технологически прогноз возможен на гораздо большее количество шагов.

Учитывать складывающиеся тенденции, влияние неэкономических факторов и мнения экспертов в РИМП предполагается за счет управления функцией активации выходного нейрона. Например, зная, что существуют «директивные» факторы снижения темпов развития того или иного показателя (значения исследуемого показателя зависят от постановлений законодательной или исполнительной власти либо от решений руководства финансовыми органами), следует использовать убывающую экспоненциальную функцию активации:

f (X) = е

где а — декремент затухания.

При добавлении новых данных в отчетный ряд модель перестраивается в автоматическом режиме. Возможно два режима перестроения моделей:

1) скользящий — сохраняется одно и то же количество наблюдений (n = const) для разбиения на обучающее и тестовое множества, устраняя начальные и добавляя новые прогнозные появляющиеся значения;

2) нарастающий — в общую выборку включаются все новые прогнозные значения, появляющиеся на момент анализа наблюдения (п = п + 1).

Разделение на режимы связано с тем, что давние отчетные данные (например, 20-летней давности) не всегда отражают текущие тенденции и в совокупности могут задавать моделям искаженный или не актуальный тренд. Логичнее считать, что наиболее актуальными являются текущие крайние значения отчетного временного ряда. Описываемый подход рассматривается нами как «рекуррентный параллельно-последовательный двухшаговый метод прогнозирования»3. Рассмотрим «плохие» показатели из разных блоков (табл. 2).

Для перечисленных показателей регрессионные модели, при неплохих значениях оценок качества, выдают низкий уровень точности. Построить «хорошие» эконометрические модели для этих показателей не представляется возможным из-за отсутствия

3 Свидетельство о государственной регистрации программы для ЭВМ «Программа ретроверификации и краткосрочного прогноза показателей развития экономики РФ, реализованной на принципах построения нейросетевых моделей с использованием обучающих и тестовых выборок, настраиваемых методом Доможакова» № 2016617339. Заявка от 30.05.2016 № 2016615616. Зарегистрировано в Реестре программ для ЭВМ 30.07.2016. Авторы-правообладатели: М. В. Доможаков, И. Б. Колмаков.

инновационный менеджмент

Таблица 2

Моделирование «плохих» показателей в рМАМс

Блок Показатель наименование показателя оценка качества оценка точности MAPE,%

Численность организаций и персонала SNENK Число организаций, выполняющих исследования и разработки, в том числе некоммерческих организаций Я2 = 0,98 F-stat = 53,65 DW = 2,4 38

SNEOZ Число организаций, выполняющих исследования и разработки, в том числе опытные заводы Я2 = 0,99 F-stat = 156,28 DW = 2,82 19

SNWNK Персонал, занятый исследованиями и разработками в секторе некоммерческих организаций Я2 = 0,96 F-stat = 13,67 DW = 2,74 57

Внутренние затраты SNFOB Внутренние затраты на исследования и разработки за счет внебюджетных фондов Я2 = 0,94 F-stat = 10,75 DW = 3,19 35

SNFOUT Внутренние затраты на исследования и разработки за счет средств иностранных источников Я2 = 0,98 F-stat = 53,65 DW =2,4 25

SNFHKO Внутренние затраты на исследования и разработки по сектору некоммерческих организаций Я2 = 0,91 F-stat = 10,14 DW = 2,25 40

Показатели результативности SNRPENRF Подано заявок на выдачу патентов: на промышленные образцы российскими заявителями Я2 = 0,99 F-stat = 405 DW = 1,4 31

SNROUPENRF Выдано патентов: на промышленные образцы российским заявителям Я2 = 0,98 F-stat = 53,65 DW = 2,4 38

Показатели инновационной деятельности SNINZTPPT Затраты на технологические инновации в промышленном производстве, в том числе на производственное проектирование и технологическую подготовку производства Я2 = 0,99 F-stat = 197,15 DW = 3 28

SNINOILGZ Объем отгруженной инновационной продукции в добыче сырой нефти и природного газа Я2 = 0,96 F-stat = 22,78 DW = 1,71 31

SNINZCVTIT Связь, деятельность, связанная с использованием вычислительной техники и информационных технологий Я2 = 0,95 F-stat = 23,84 DW = 1,9 60

Источник: составлено авторами.

в отчетности Росстата данных о факторах влияния на эти показатели.

Для всех «плохих» показателей были проведены компьютерные эксперименты по нахождению оптимальных параметров нейронной сети. Для всех моделей устанавливались следующие одинаковые условия:

1) количество нейронов на входном слое = 1;

2) количество нейронов на выходном слое = 1;

3) скорость обучения = 0,0001;

4) момент обучения = 0,01;

5) максимальное количество эпох обучения = 1000;

6) максимальное время обучения = 10 мин. Все показатели, связанные с некоммерческими

организациями, являются «директивными», для них используется убывающая экспоненциальная функция активации, для всех остальных моделей —

Таблица 3

Прогноз на риМП для «плохих» показателей риАМс

Показатель Число нейронов на скрытом слое оценка точности на четырех последних наблюдениях МАРЕ, % Прогноз 2015 Прогноз 2016

SNENK 2 8 87,52 81,59

SNEOZ 3 40

SNWNK 2 11 881,28 995,27

SNFOB 3 14 10 527,8 10 994,97

SNFOUT 2 15 29 813,25 25 743,5

SNFHKO 3 11 1225,26 1269,1

SNRPENRF 2 10 2613,67 2370,12

SNROUPENRF 2 10 1471,97 1450,95

SNINZTPPT 2 8 54 941,83 57 204,6

SNINOILGZ 2 23

SNINZCVTIT 2 31

Источник: составлено авторами.

гиперболический синус. Основным регулируемым параметром управления ИНС является изменение количества нейронов на скрытом слое.

Для тех моделей, где ретроверификация обнаруживает приемлемое значение MAPE на четырех последних наблюдениях, выполнен прогноз на РИМП для 2015-2016 гг. (табл. 3).

Для трех показателей (SNEOZ, SNINOILGZ, SNINZCVTIT) не удалось построить адекватную ней-росетевую модель. Объясняется это тем, что перечисленные показатели имеют короткие ряды отчетных данных, содержат аномальные значения в рядах отчетных данных и, возможно, имеют зависимости от ненаблюдаемых факторов влияния. Расхождения MAPE в эконометрических и нейросетевых моделях по соответствующим показателям объясняются отсутствием линейной зависимости между исследуемыми показателями.

выводы

Рассмотренная гибридная система может быть признана работоспособной, результаты экономе-трической и нейросетевой моделей сопоставимы. Из 75 показателей сферы исследований и инноваций Российской Федерации были успешно смоделированы и получены прогнозные значения по 72 показателям (96%). Оставшиеся три показателя нуждаются в уточнении (построении экспертных моделей, увеличения длины отчетного ряда, выяснения и уточнения факторов влияния).

Дальнейшие исследования направлены на оптимизацию параметров системы с целью повышения производительности без потерь точности и качества, совершенствование сервисов управления расчета моделей показателей, а также внедрение интеллектуальных методов в работу экспертов.

Литература

1. Российский статистический ежегодник. 2015: стат. сб. М.: Росстат, 2015. 728 с.

2. Колмаков И. Б., Кольцов А. В., Доможаков М. В. Основы построения системы комплексного прогноза сферы исследований и инноваций во взаимосвязи с макроэконометрическими моделями экономики России // Ин-новатика и экспертиза. 2015. № 1 (14). С. 255-275.

3. Доугерти К. Введение в эконометрику. М.: Инфра-М, 1999. 402 с.

4. Китова О.В., Колмаков И.Б., Кольцов А.В., Доможаков М.В. Анализ динамики результатов верификации краткосрочных прогнозов показателей сферы научных исследований и инноваций в России // Вестник Российского экономического университета им. Г. В. Плеханова. 2016. № 5. С. 160-172.

5. Колмаков И.Б., Доможаков М.В. Синтез эконометрических и нейросетевых систем прогноза показателей сферы исследований и инноваций в Российской Федерации // Управленческие науки. 2016. № 2. С. 27-37.

6. Китова О.В., Колмаков И.Б., Шарафутдинова А.Р. Анализ точности и качества краткосрочного прогноза показателей социально-экономического развития России // Вестник Российского экономического университета им. Г. В. Плеханова. 2013. № 9. С. 111-119.

7. Хайкин С. Нейронные сети: полный курс. 2-е изд. М.: Вильямс, 2006. 1104 с.

8. Стругайло В. В. Использование комбинированной структуры искусственной нейронной сети для распознавания образов // Наука и образование: научное издание МГТУ им. Н. Э. Баумана. 2012. № 3. C. 24.

9. Когнитивная бизнес-аналитика: учебник / под ред. Н. М. Абдикеева. М.: Инфра-М, 2011. 511 с.

10. Амосов О. С., Пащенко Ф. Ф., Муллер Н.В. Структурно параметрическая идентификация временного ряда с применением фрактального и вейвлет-анализа // Информатика и системы управления. 2015. № 2 (44). С. 80-88.

11. Ivanjuk V.A., Pashhenko F. F. Methods and models for the forecasting and management of time series / Proceedings of International work-conference on Time Series (ITISE2015, Granada, Spain). Granada, 2015, pp. 283-292.

References

1. Rossiiskii statisticheskii ezhegodnik. 2015: stat. sb. [Russian Statistical Yearbook. 2015. Statistical handbook]. M.: Rosstat — Rosstat, 2015, 728 p. (in Russian).

2. Kolmakov I. B., Kol'tsov A.V., Domozhakov M. V. Osnovy postroeniia sistemy kompleksnogo prognoza sfery issle-dovanii i innovatsii vo vzaimosviazi s makroekonometricheskimi modeliami ekonomiki Rossii [Fundamentals of integrated forecast system research and innovation in relation to the macroeconometric model of the Russian economy]. Innovatika i ekspertiza — Innovation and Expertise, 2015, № 1 (14), pp. 255-275 (in Russian).

3. Dougerti K. Vvedenie v ekonometriku [Introduction to econometrics]. Moscow, Infa-M — Infa-M, 1999, 402 p. (in Russian).

4. Kitova O. V., Kolmakov I. B., Kol'tsov A.V., Domozhakov M. V. Analiz dinamiki rezul'tatov verifikatsii kratkosrochnykh prognozov pokazatelei sfery nauchnykh issledovanii i innovatsii v Rossii [The analysis of the dynamic verification results of the short-term predictions for the research and innovation indicators in Russia]. VestnikRossiiskogo eko-nomicheskogo universiteta im. G. V. Plekhanova — Vestnik of the Plekhanov Russian University of Economics, 2016, no. 5, pp. 160-172 (in Russian).

5. Kolmakov I. B., Domozhakov M. V. Sintez ekonometricheskikh i neirosetevykh sistem prognoza pokazatelei sfery issledovanii i innovatsii v Rossiiskoi Federatsii [Synthesis of econometric models and neural network forecasting indicators in research and innovation in the Russian Federation]. Upravlencheskie nauki — Management Sciences, 2016, no. 2, pp. 27-37 (in Russian).

6. Kitova O. V., Kolmakov I. B., Sharafutdinova A. R. Analiz tochnosti i kachestva kratkosrochnogo prognoza pokazatelei sotsial'no-ekonomicheskogo razvitiia Rossii [Analysis of the accuracy and quality of short-term forecast of social and economic development of Russia]. Vestnik Rossiiskogo ekonomicheskogo universiteta im. G. V. Plekhanova — Vestnik of the Plekhanov Russian University of Economics, 2013, no. 9, pp. 111-119 (in Russian).

7. Khaikin S. Neironnye seti: polnyi kurs. 2-e izd [Neural Networks: A Comprehensive Foundation. 2th ed.]. Moscow, Vil'iams — Williams, 2006, 1104 p. (in Russian).

8. Strugailo V. V. Ispol'zovanie kombinirovannoi struktury iskusstvennoi neironnoi seti dlia raspoznavaniia obrazov [[Using a combined structure of an artificial neural network pattern recognition]. Nauka i obrazovanie: nauchnoe izdanie MGTU im. N.E. Baumana — Science and education: scientific publication MSTUBauman, 2012, no. 3, p. 24 (in Russian).

9. Kognitivnaia biznes-analitika: uchebnik/ pod red. N. M. Abdikeeva [Cognitive business intelligence: Textbook. Under the editorship of N. M. Abdikeev]. Moscow, Infra-M — Infra-M, 2011, 511 p. (in Russian).

10. Amosov O. S., Pashchenko F. F., Muller N. V. Strukturno parametricheskaia identifikatsiia vremennogo riada s prim-eneniem fraktal'nogo i veivlet-analiza [[Structural parametric identification of time series with frontal and wavelet analysis]. Informatika i sistemy upravleniia — Information andManagment Systems, 2015, no. 2 (44), pp. 80-88 (in Russian).

11. Ivanjuk V. A., Pashhenko F. F. Methods and models for the forecasting and management of time series / Proceedings of International work-conference on Time Series (ITISE2015, Granada, Spain). Granada, 2015, pp. 283-292.