CC BY
67
УДК 330.43(045)
Синтез эконометрических и нейросетевых моделей прогноза показателей сферы исследований и инноваций в Российской Федерации
КОЛМАКОВ ИГОРЬ БОРИСОВИЧ, доктор экономических наук, профессор кафедры информатики Российского экономического университета им. Г.В. Плеханова, Москва, Россия E-mail: [email protected]
ДОМОЖАКОВ МАТВЕЙ ВАЛЕРЬЕВИЧ, аспирант кафедры информатики Российского экономического университета им. Г.В. Плеханова E-mail: [email protected]
Аннотация. Рассмотрены общая методология и архитектура системы гибридных моделей прогноза экономических показателей и ее реализации в виде интегрированной информационной системы на примере показателей сферы исследований и инноваций экономики Российской Федерации. Продемонстрирована схема распределенной информационно-аналитической метасистемы, представлен общий алгоритм верификации типового блока прогноза, которая способствует значительному повышению доверия к результатам прогнозирования. Объектом исследования статьи является единая система гибридных моделей, объединяющая эконометрические и нейросетевые модели в единую систему гибридных экономических моделей. Структура гибридной системы прогноза состоит из двух подсистем: подсистемы прогноза распределенных эконометрических моделей и подсистемы распределенных нейросетевых моделей прогнозирования. Выявлены объективные причины, при которых достигается предел возможностей регрессионных моделей. Описана архитектура подсистемы распределенных нейросетевых моделей, разработанная на языке программирования Python с помощью веб-фреймворка Django. Показаны стадии процесса прогноза показателей в гибридной модели. Рассмотрена функциональная структура гибридных моделей, в основе которой - применение программных модулей. Использование подобной системы позволяет не только повысить точность и качество прогнозных расчетов, но и применять их в контуре управления достижения целевых показателей. Ключевые слова: сфера исследований и инноваций, системы регрессионных уравнений, модели краткосрочного прогноза, верификация прогноза, система нейросетевых моделей, система гибридных моделей.
Synthesis of Econometric and Neural Network Models for Indicators Prediction in Research and Innovation in the Russian Federation
IGOR B. KOLMAKOV, Doctor of Economics, Professor at the Department "Information science", Russian Plekhanov University of Economics, Moscow, Russia E-mail: [email protected]
MATVEJ V. DOMOZHAKOV, post-graduate at the Chair "Information science", Russian Plekhanov University of Economics, Moscow, Russia E- mail: [email protected]
Abstract. The article considers general methodology and architecture of hybrid system models for prediction of economic indicators and its implementation in the form of an integrated information system on the example of research and innovation indicators of the Russian economy. The scheme of the distributed information-analytical system is demonstrated. The general verification process algorithm of the model prediction unit is presented, which contributes significantly to the credibility of the forecast results. The object of the study is a unified system of hybrid models, combining econometric and neural network models into a single system of hybrid economic models. The structure of the hybrid forecasting system consists of two subsystems: the subsystem of the distributed econometric forecast models and subsystem of the distributed neural network prediction models. The objective reasons, under which the level best of regression models is reached, are identified. The subsystem architecture of the distributed neural network models developed in the programming language Python with the use of the web framework Django is described. The stages of indicators forecasting in a hybrid model are shown. The hybrid models functional structure based on the use of software modules are considered. The use of such a system allows not only to improve the accuracy and quality of the forecasts, but also to apply them in the control loop foreaching the targets. Keywords: research and innovation, regression equations systems, short-term prediction models, verification of prediction, neural network models system, hybrid models system.
Разработка систем прогнозирования экономики страны в целом и ее различных подсистем является одной из важнейших задач государства [1]. Одна из подсистем национальной экономики — сфера научных исследований и инноваций [2]. Следует отметить, что развитие экономики, особенно в современных условиях повышения роли знаний, необходимости решения задачи перевода экономики на инновационный путь развития, а также стоящих перед страной задач модернизации экономики, диверсификации производства, повышения благосостояния населения, обеспечения безопасности страны, в значительной степени зависит от уровня развития научно-инновационной сферы. Прогноз показателей этой сферы весьма проблематичен, поскольку не существует жестких структурных пропорций относительно других отраслей экономики.
Это определяет необходимость комплексного взаимоувязанного рассмотрения в рамках единой модели процессов экономического
развития страны и сферы исследований и инноваций таких инструментальных средств прогноза, которые отражали бы указанные взаимосвязи и содержали показатели, значимые для оценки перспектив развития экономики и научно-технической сферы. Эти оценки должны быть доступны в повседневной работе экспертам-исследователям правительственных или коммерческих организаций для принятия управленческих решений [3].
Распределенная информационно-аналитическая метасистема
На кафедре информатики Российского экономического университета им. Г.В. Плеханова разработана распределенная информационно-аналитическая метасистема (РИАМС) для решения взаимосвязанных регрессионных уравнений1. Подход, использованный в программно-технологическом комплексе (ПТК), базируется на применении распределенной эконометриче-ской модели, в которую встраиваются блоки,
1 Свидетельство о государственной регистрации программы для ЭВМ «Программа реализации распределенной метасистемы эконометрических моделей прогноза» № 2013617339. Заявка № 2013615488 от 27 июня 2013 г. Зарегистрировано в Реестре программ для ЭВМ 9 августа 2013 г. Авторы-правообладатели: И.Б. Колмаков, О.В. Китова, С.В. Потапов.
определяющие основные показатели развития сферы научных исследований и инноваций.
Укрупненная схема работы РИАМС представлена на рис. 1. С учетом принятых обозначений и сокращений общая схема работы типового блока прогноза РИАМС может быть представлена следующим образом (см. рис. 1).
Прогнозные расчеты получаются на основе использования систем регрессионных уравнений, в которых каждый показатель определяется
тбп(уу) риамс 4
бод(л0
-► сценус(д^./) 1
-> бду(а; з, г) т
бдргвд 3,1)
Рис. 1. Архитектура типового блока прогноза РИАМС
Основные обозначения: ТБП - типовой блок прогноза РИАМС; БОД - база отчетных данных исследуемого раздела отчетности Росстата; СЦЕНУС - сценарные условия варианта расчета прогноза; БДУ - база данных уравнений исследуемого блока (база знаний); БДРП - база данных результатов прогноза.
Индексы модели ТБП: N - номер раздела отчетности Росстата; ] - номер варианта экспертных оценок сценарных условий; I - номер версии базы данных уравнений. Примечания. На количество типовых блоков ограничений нет. БОД показателей типового блока прогноза не имеет практических ограничений по числу показателей. БДУ может содержать уравнений больше, чем число показателей в БОД. Количество СЦЕНУС не имеет практических ограничений. БДРП не превышает число показателей в БДУ.
как функция других показателей-аргументов в соответствии с экономическим смыслом. Более подробно концепция построения системы моделей краткосрочного прогноза и результаты работы ПТК описаны в работах [1, 2, 4, 5]. Все операции — перенастройку параметров системы и вариантные расчеты прогнозов — выполняет эксперт-исследователь (ЭИ).
Результатом работы основного модуля типового блока прогноза являются варианты: БДУ (Ы, /, I) — база данных уравнений исследуемого блока и БДРП (Ы, /, I) — база данных результатов прогноза.
База данных результатов прогноза содержит, кроме значений показателей прогноза, стандартные характеристики качества регрессионных уравнений, по которым выполнялся прогноз. В системе отладки БДУ предусмотрена печать протоколов характеристик исследуемых показателей, что позволяет отбирать нужные уравнения. Потенциально выбирается наилучшая БДРП, соответствующая наилучшим показателям качества прогноза. Выбранная БДУ сохраняется для дальнейшей работы.
Главные преимущества системы — оперативная возможность изменения сценарных условий и последующий перерасчет прогнозных значений. Практически для любого сценарно-фиксируемого изменения внешней среды можно получать прогнозные значения.
Общеизвестно, что хорошие показатели качества прогноза являются необходимым, но не достаточным условием для получения прогноза достаточной точности. В настоящее время не существует методов, позволяющих проверить (или гарантировать) точность прогноза до завершения прогнозного периода. Проверить точность прогноза можно только после завершения прогнозного периода, т.е. на отчетных данных можно проверять точность «ретропрогноза». Накопление сведений о поведении «ретропрогноза» и перенастройка БДУ на высокие показатели точности способствуют значительному повышению доверия к
2 Свидетельство о государственной регистрации программы для ЭВМ «Верификация системы прогноза показателей научных исследований и инноваций в РФ» № 2015616696. Заявка № 2015611992 от 25 декабря 2014 г. Зарегистрировано в Реестре программ для ЭВМ 18 июня 2015 г. Авторы-правообладатели: И.Б. Колмаков, М.В. Доможаков, С.В. Потапов.
результатам прогноза. Именно поэтому разработаны верификаторы (ВРФ) для типовых блоков прогноза (ТБП)2 [4]. Происходит процесс сопоставления расчетных результатов модели с соответствующими отчетными данными действительности — фактами и закономерностями экономического развития. Основное отличие ретропрогноза от прогноза состоит в том, что сценарные показатели перестают быть экспертными и становятся отчетными. В этом случае проявляется возможность оценить качество и точность регрессионных моделей [4].
Общая схема работы верификатора типового блока представлена на рис. 2.
15РФ ТКП(Л) I
БЭДОТ(Л) I
СЦЕНОТ(Л)
А.
КДУ<Л', л
_±_ БДРП(*, Т)
* КРИТЕ РИИ(Л, [)
АНТИК(Л', I)
Л/' КОД(Л', Ш КОД(Л', АУ)
Рис. 2. Архитектура верификатора (ВРФ) для типового блока прогноза (ТБП)
Обозначения и блоки: ВРФ ТБП - верификатор для ТБП; БЭДОТ - база эталонных данных отчетного периода; СЦЕНОТ - сценарные условия в отчетном периоде; КРИТЕРИИ - критерии оценки точности и качества; АНТИК - анализ точности и качества показателей прогноза; БР - список показателей, удовлетворяющих условиям точности и качества; БЫ - список показателей, не удовлетворяющих условиям точности и качества.
В блоке АНТИК устанавливаются критерии точности и качества, которым должны удовлетворять результаты прогноза. В системе оценок качества регрессионных уравнений использованы общепринятые критерии: коэффициент детерминации (Л2), критерий Дарбина-Уотсона (БЩ) и значение статистики Фишера (Р-вгаг), табличное значение статистики Фишера в зависимости от числа степеней свободы дисперсий (Ртаб). Оценкой точности прогноза служит показатель относительной ошибки (МАРЕ).
Устанавливая границы указанных критериев, эксперты-исследователи могут судить о точности прогнозных моделей и формировать характеристики качества прогноза показателей в категориях «плохой» — «хороший»3 (см. таблицу) [4].
После получения предварительных результатов анализа прогнозирования эконометри-ческих моделей предпринимаются попытки улучшить оценку качества и точности. Для этого продолжается поиск значимых факторов и происходит включение в расчеты новых регрессионных уравнений либо выявляются закономерности при построении расчетных значений или применяются другие корректирующие действия [6].
Но оказалось, что для ряда показателей существуют объективные причины, не позволяющие улучшить характеристики качества и точности прогноза. То есть достигается предел возможностей регрессионных моделей, преодолеть который в рамках этих моделей не представляется возможным. Причины таких ограничений могут быть следующие.
• Появление новых показателей с короткими (неполными) рядами отчетных данных.
• Несопоставимость отчетных данных на исследуемом отрезке времени из-за радикальных методологических изменений в отчетности показателя.
• Неполнота наборов отчетных показателей Росстата в системе национальных счетов (например, отсутствие индекс-дефляторов для
3 Свидетельство о государственной регистрации программы для ЭВМ «Верификация системы прогноза показателей научных исследований и инноваций в РФ» № 2015616696. Заявка № 2015611992 от 25 декабря 2014 г. Зарегистрировано в Реестре программ для ЭВМ 18 июня 2015 г. Авторы-правообладатели: И.Б. Колмаков, М.В. Доможаков, С.В. Потапов.
Категоризация показателей
Категория Оценка
качества точности
«Хороший» Р2 > 0,4; Г-Хог > Гтаб; 0,6 < йШ< 3,4 МАРЕ < 0,16
«Плохой» Р2 < 0,4; Г-бШ < Гтаб; 0,6 > йШ или йШ> 3,4 МАРЕ > 0,16
компонентов структур валового внутреннего продукта и др.) [7].
• Использование показателей со скрытыми (ненаблюдаемыми) наборами факторов влияния.
• Потеря статистической значимости на исследуемом отрезке времени (происходит переход на «ручное» управление).
• Прямая зависимость значений показателя от постановлений законодательной или исполнительной ветвей власти (административно-зависимые «директивные» показатели, внешнее управление).
В последнем случае администраторы определяют будущие значения факторов влияния исходя из опыта собственных оценок: поведения прогнозных рыночных показателей, выработанных доктрин и целей (иногда скрытых) и выдают собственные управляющие воздействия (в форме финансирования или прямых директив), которые и определяют поведение соответствующих показателей.
По результатам работы верификатора (по данным последнего отчетного периода) формируются списки показателей БР (принятых) и БЫ (непринятых). Одновременно фиксируются соответствующие БОД (БР), БДУ (БР) и БОД (БЫ), БДУ (БЫ) и принимаются решения:
1) прогноз по списку БР выполнять в рамках эконометрических моделей;
2) прогноз по списку БЫ выполнять в рамках моделей искусственного интеллекта.
Методология системы гибридного прогнозирования
В случаях, когда достигнуты предельные возможности эконометрических моделей прогноза, а потребности в показателях прогноза не удовлетворены, возникает необходимость использо-
вать принципиально другие методы, модели и инструментальные средства для получения прогнозных значений востребованных показателей.
Одно из направлений поиска прогнозов — применение искусственных нейронных сетей (ИНС) [8], «входом» которых являются показатели с низкими параметрами качества и точности экономе-трической модели. Возникают задачи использовать несколько различных методов ИНС в рамках одной архитектуры [5, 9]. Причем необходимо, чтобы инструментальные средства представляли собой взаимосвязанные ИНС модели и удовлетворяли требованиям системы распределенных искусственных нейросетевых моделей (РИНСМ).
Объектом исследования является единая система гибридных моделей, объединяющая эконометрические и нейросетевые модели в единую систему гибридных экономических моделей. Структура подобной гибридной системы прогноза состоит из двух подсистем: подсистемы прогноза распределенных эконометриче-ских моделей и подсистемы распределенных нейросетевых моделей прогнозирования.
Процесс прогноза показателей в гибридной модели проходит следующие стадии.
1. На вход РИАМС поступают статистические отчетные данные: Федеральной службы государственной статистики, Министерства образования и науки РФ, Министерства финансов РФ, Центрального банка РФ, Министерства промышленности и торговли РФ, Министерства экономического развития РФ, Центра экономической конъюнктуры, Бюро экономического анализа при Правительстве РФ и других государственных учреждений.
2. Формулируется цель прогноза и задаются сценарные условия.
3. Эксперт-исследователь выполняет расчеты в эконометрической подсистеме, получает
первичные результаты прогноза и оценки качества этого прогноза.
4. Выполняются верификация на основе ретропрогноза и анализ полученных результатов. Происходит автоматизированный отбор «хороших» показателей и формируется выборка показателей, характеризуемых как «плохие». Набор «плохих» показателей поступает на вход РИНСМ прогнозирования.
5. На основании данных входного набора для «плохих» показателей проводится обучение нейронных сетей. Процесс обучения нейронной сети описан в работе [9]. Выполняется нейросе-тевой прогноз.
6. Осуществляется верификация результатов прогноза, полученного с помощью нейронных сетей. Проведение верификации рет-ропрогноза в РИНСМ проходит аналогично
верификации ретропрогноза в РИАМС. Показатели, которые относились к «плохим» в подсистеме РИАМС, но критерии качества и точности которых были улучшены в РИНСМ, переходят в набор «хороших».
На основании результатов гибридного прогноза (рис. 3) принимаются решения:
1) продолжить анализ и дальнейшую работу по улучшению прогнозных оценок путем добавления новых уравнений или уточнения отчетной информации;
2) остановить прогноз и принять для анализа полученные результаты системы гибридного прогноза.
Архитектура подсистемы РИНСМ
Анализ рынка коммерческих и некоммерческих программных продуктов показал, что сущест-
Рис. 3. Алгоритм работы системы гибридного прогнозирования
вующие на сегодняшний день готовые решения не полностью удовлетворяют требованиям к распределенной подсистеме нейросетевых моделей. Отсутствие готовых продуктов программного обеспечения объясняет необходимость разрабатывать собственные программные продукты в виде веб-приложений. В качестве языка программирования выбран Python, в качестве веб-приложения Django — свободный фреймворк на языке Python [10], использующий шаблон проектирования модель — представление — контроллер (MVC).
Веб-приложение Django (рис. 4) содержит четыре основных компонента4: модель, представление, шаблон и URL.
1. Модель — стандартный Python; объектно-реляционное отображение (ORM) обеспечивает таким классам доступ непосредственно к базам данных.
2. Представление — функция, которая вызывается в ответ на запрос какого-то адреса (URL) и возвращает контекст; на этом уровне осуществляется построение моделей прогнозирования.
3. Шаблон — форма представления данных. Шаблоны имеют собственный простой метаязык. Генерирует HTML-страницу, в основе пользовательского интерфейса используется twitter bootstrap.
4. URL — механизм внешнего доступа к представлениям с использованием регулярных выражений.
В качестве системы хранения данных выбрана СУБД PostgreSQL5 — объектно-реляционная система управления базами данных с открытым исходным кодом. В рамках выбранной СУБД реализована логическая и физическая структуры системы сопряжения, установлены связи между объектами базы данных, связанных через ORM с моделями Django. Обмен данными настраивается между веб-фреймворком и СУБД. На рис. 5 представлена концептуальная схема базы данных.
Рис. 4. Архитектура модели сопряжения Django
Функциональная структура гибридной системы прогнозирования
Разработанная функциональная структура гибридной системы прогнозирования (рис. 6) содержит следующие функциональные модули.
• РИАМС — подсистема эконометрического прогноза на языке VBA.
• Модуль нейросетевого прогнозирования предназначен для построения распределенных искусственных нейросетевых моделей прогнозирования.
• Интеграционный модуль является средством анализа и репликации данных из системы РИАМС в РИНСМ для дальнейшего анализа, обработки и прогнозирования.
• Модуль оперативной обработки данных служит для подачи данных на вход в нейронной сети для обучения.
• Модуль контроля качества и точности прогноза выполняет в РИНСМ верификацию полученных результатов на основе ретропрог-ноза с одновременным автоматизированным контролем оценок точности и качества ретропрогноза.
4 Документация Django// Русскоязычное сообщество Django [Электронный ресурс]. URL: http://djbook.ru (дата обращения: 22.03.2016).
5 Документация PosgreSQL // Официальный сайт PostgreSQL [Электронный ресурс]. URL: http://www.postgresql.org (дата обращения: 22.03.2016).
Рис. 5. Концептуальная схема базы данных
• Модуль визуализации результатов выводит по указанию пользователя все необходимые результаты в интерфейс системы.
На рис. 7 продемонстрирована связь между функциональной структурой РИНСМ и архитектурой веб-фреймворка Django. По результатам работы РИАМС формируется набор «плохих» показателей. Следующий шаг — запуск процедуры анализа и репликации из РИАМС через интеграционный модуль, в результате чего в подсистему РИНСМ передаются данные показателей с «плохими» результаты эконометри-ческого моделирования.
После окончания загрузки данных определяется порядок расчета уравнений и формируется набор данных, который обрабатывается и
подается на вход модуля нейросетевого прогнозирования. Прежде чем рассчитать исследуемый показатель, выполняется расчет независимых факторов, которые, в свою очередь, зависят от других показателей. Порядок расчета уравнения автоматически определяется таким образом, чтобы к началу расчета его аргументы были определены, т.е. была решена задача ранжирования моделей. Следующая задача — формирование выборки данных для каждой нейросетевой модели, чтобы использовать этот массив для обучения сети. В модуле нейросетевого прогнозирования (рис. 8) происходит обучение нейросетевой модели с заданными пользователем параметрами и осуществляется прогноз на указанный период.
Рис. 6. Функциональная структура гибридной системы прогнозирования
Рис. 7. Соотношение функциональной структуры системы гибридного прогнозирования
и архитектуры веб-фреймворка Django
Рис. 8. Процесс построения нейронной сети
В качестве основы для обучения используются программы библиотеки Pybrain6. Описанный функционал реализован в модуле обработки данных.
После окончания процесса обучения осуществляется контроль точности и качества нейросетевых моделей и проводится анализ результатов верификации ретропрогноза.
Для визуализации результатов эксперт-исследователь использует механизм внешнего доступа к представлениям с использованием регулярных выражений (URL), который определен для сервера Django. Происходит вызов соответствующего представления, а затем шаблона. В качестве front-end библиотеки используется foundation, twitter bootstrap7.
Заключение
В статье рассмотрены общая методология и архитектура распределенной системы гибридных интеллектуальных экономических моделей и ее реализация в виде интегрированной инфор-
мационно-аналитической системы прогностического типа. Предварительные результаты исследований в рамках гибридных интеллектуальных экономических моделей отдельных показателей сферы исследований и инноваций опубликованы в работе [5]. Дальнейшая работа направлена на улучшение и совершенствование интеллектуальных составляющих в подсистемах РИАМС и РИНСМ и повышение производительности получения результатов вариантных прогнозов в гибридных системах. Настоящее исследование выполнено в рамках работ, определяемых грантом Российского фонда фундаментальных исследований № 14-07-00603 «Интеллектуальные когнитивные системы поддержки принятия решений».
Авторы выражают благодарность профессорам кафедры информатики РЭУ им. Г. В. Плеханова О. В. Китовой, Л. П. Дьяконовой, А. Н. Аверкину.
Список литературы
1. Гришин В.И., Абдикеев Н.М., Колмаков И.Б. [и др.]. Система расчета прогнозных показателей макроэкономики России // Финансовая аналитика. Проблемы и решения. Научно-практический и информационно-аналитический сборник. М.: Финансы и кредит, 2010. № 13 (37). С. 2-15.
2. Колмаков И.Б., Кольцов А.В., Доможаков М.В. Основы построения системы комплексного прогноза сферы исследований и инноваций во взаимосвязи с макроэконометрическими моделями экономики России // Инноватика и экспертиза. 2015. № 1 (14). С. 255-275.
3. Абдикеев Н.М. Когнитивная бизнес-аналитика: учебник / под научной редакцией доктора техн. наук, проф. Н.М. Абдикеева. М.: ИНФРА-М, 2014. 511 с.
4. Китова О. В., Колмаков И.Б., Шарафутдинова А.Р. Анализ точности и качества краткосрочного прогноза показателей социально-экономического развития России // Вестник Российского экономического университета им. Г.В. Плеханова. 2013. № 9. С. 111-119.
5. Колмаков И.Б., Доможаков М.В. Методология прогнозирования показателей сферы научных исследований и инноваций с помощью нейросетевых моделей // Менеджмент и бизнес-администрирование. 2015. № 3. С. 121-127.
6. Амосов О.С., Пащенко Ф.Ф., Муллер Н.В. Структурно-параметрическая идентификация временного ряда с применением фрактального и вейвлет-анализа // Информатика и системы управления. 2015. № 2 (44). С. 80-88.
7. Российский статистический ежегодник. Статистический сборник. М.: Росстат, 2014. 693 с.
6 Документация PyBrain// Официальный сайт сообщества PyBrain [Электронный ресурс]. URL: http://pybrain.org/ (дата обращения: 22.03.2016).
7 Документация Bootstrap// Официальный сайт Bootstrap [Электронный ресурс]. URL: http://getbootstrap.com/ (дата обращения: 22.03.2016).
8. Иванюк В.А., Пащенко Ф.Ф. Methods and models for the forecasting and management of time series / Proceedings of International work-conference on Time Series (ITISE 2015, Granada, Spain). Granada, 2015. Р. 283-292.
9. Хайкин С. Нейронные сети. Полный курс: пер. с англ. 2-e изд. М.: Вильямс, 2006. 1104 с.
10. Форсье Дж. Биссекс П., Чан У. Django. Разработка веб-приложений на Python: пер. с англ. СПб.: Символ-Плюс, 2010. 456 с.
References
1. Grishin V.I., Abdikeev N.M. Kolmakov I.B., et al. Sistema rascheta prognoznyh pokazatelej makrojekonomiki Rossii [The calculation system of Russia's macroeconomic predictive indicators] // Finansovaja analitika. Problemy i reshenija. Nauchno-prakticheskij i informacionno-analiticheskij sbornik [Financial analyst. Problems and solutions. Theoretical and practical and information-analytical collection], Moscow, Finansy i kredit — Finance and credit, 2010, no. 13 (37), pp. 2-15 (in Russian).
2. Kolmakov I.B., Koltsov A.V., Domozhakov M.V. Osnovy postroenija sistemy kompleksnogo prognoza sfery issledovanij i innovacij vo vzaimosvjazi s makrojekonometricheskimi modeljami jekonomiki Rossii [The foundations of the system of complex forecasting areas of research and innovation interrelated with macroeconometric models of Russian economy]. Innovatika i jekspertiza — Innovation and expertise, 2015, no. 1 (14), pp. 255-275.
3. Abdikeyev N. M. Kognitivnaya biznes-analitika: uchebnik [Cognitive business analytics: textbook]. Moscow, INFRA-M — INFRA-M, 2014, 511 p.
4. Kitova O.V., Kolmakov I.B., Sharafutdinova A.R. Analiz tochnosti i kachestva kratkosrochnogo prognoza pokazatelej social'no-jekonomicheskogo razvitija Rossii [Accuracy and quality analysis of short-term forecast of social and economic development of Russia]. Vestnik Rossijskogo jekonomicheskogo universiteta im. G.V. Plehanova — Bulletin of Russian Plekhanov University of Economics, 2013, no. 9, pp. 111-119 (in Russian).
5. Kolmakov I.B., Domozhakov M.V. Metodologija prognozirovanija pokazatelej sfery nauchnyh issledovanij i innovacij s pomoshh'ju nejrosetevyh modelej [The methodology of the indicators prediction in research and innovation with the help of neural network models. Menedzhment i biznes-administrirovanie — Management and business administration, 2015, no. 3, pp. 121-127 (in Russian).
6. Amosov O.S., Pashchenko F.F., Muller N.V. Strukturno parametricheskaja identifikacija vremennogo rjada s primeneniem fraktal'nogo i vejvlet-analiza [Structural parametric identification of time series with the use of fractal and wavelet analysis]. Informatika i sistemy upravlenija — Information science and control systems, 2015, no. 2 (44), pp. 80-88 (in Russian).
7. Rossijskij statisticheskij ezhegodnik. Statisticheskij sbornik. [Russian statistical yearbook. The statistical compilation.] Moscow, Rosstat — Rosstat, 2014, 693 p. (in Russian).
8. Ivanjuk V.A., Pashhenko F.F. Methods and models for the forecasting and management of time series / Proceedings of International work-conference on Time Series (ITISE 2015, Granada, Spain), Granada, 2015, pp. 283-292.
9. Khaikin S. Nejronnye seti. Polnyj kurs. [Haykin S. Neural networks: A Comprehensive Foundation], 2nd edition, translated from English. Moscow, Williams — Vil'jams, 2006, 1104 p. (in Russian).
10. Fors'e Dzh. Bisseks P., Chan U. Razrabotka veb-prilozhenij na Python [Forcier J., Bissex P., Chun W. Python Web Development with Django], translated from English. St. Petersburg, Simvol-Plus — SymbolPlus, 2010, 456 p. (in Russian).
