CC BY
44
МАТЕМАТИЧЕСКИЕ И ИНСТРУМЕНТАЛЬНЫЕ МЕТОДЫ
Д-р экон. наук О. В. Китова д-р экон. наук И. Б. Колмаков А. Р. Шарафутдинова
АНАЛИЗ ТОЧНОСТИ И КАЧЕСТВА КРАТКОСРОЧНОГО ПРОГНОЗА ПОКАЗАТЕЛЕЙ СОЦИАЛЬНО-ЭКОНОМИЧЕСКОГО
РАЗВИТИЯ РОССИИ1
В статье рассмотрены методологические, информационные, программно-технологические средства краткосрочного прогнозирования показателей социально-экономического развития РФ. Предложены направления исследований для решения проблем повышения точности и качества прогноза показателей, основанные на применении нейросетевых моделей.
Ключевые слова и словосочетания: эконометрические имитационные модели, показатели социально-экономического развития России, система национальных счетов, краткосрочное прогнозирование, классификация моделей, сценарные показатели, анализ точности и качества краткосрочного прогноза.
Достижение стратегических целей развития страны предполагает не только мониторинг текущего состояния, но и выбор вектора краткосрочного развития, который бы определял направление к достижению стратегических целей. Одним из подходов к построению вектора краткосрочного развития является система моделей краткосрочного прогноза показателей социально-экономического развития России.
На кафедре информатики РЭУ им. Г. В. Плеханова разработан программно-технологический комплекс (ПТК «РИМЭКСПРОГНОЗ»)2, который представляет собой распределенные системы моделей краткосрочного прогноза показателей социально-экономического развития России.
Программно-технологический комплекс основывается на балансово-эконометрических имитационных моделях. Модели расчетов прогнозных показателей представляются в виде систем регрессионных уравнений и тождеств. В регрессионных уравнениях исследуется поведение взаимозависимых переменных, отражающих поведение прогнозных показателей развития российской экономики в системе национальных счетов (СНС) в зависимости от сценарных показателей и индикаторов, являющихся экзогенными по отношению к показателям системы моделей.
1 Статья подготовлена по результатам исследования, проведенного при финансовой поддержке Российского фонда фундаментальных исследований, проект № 13-07-00858\13.
2 См.: Свидетельство о государственной регистрации программы для ЭВМ № 2011616372 «ПТК «РИМЭКСПРОГНОЗ2010». Авторы: И. Б. Колмаков, С. В. Потапов, В. И. Антипов, А. Р. Шарафутдинова. Заявка № 2011614411 от 16 июня 2011 г. Зарегистрировано в реестре программ для ЭВМ 15 августа 2011 г.
По итогам математических экспериментов для каждого уравнения отбираются статистически значимые аргументы, влияние которых соответствует логике экономических процессов1.
Работа системы моделей
На основе аналитических, регрессионных и балансовых уравнений, полученных при проектировании блоков, формируется имитационная система моделей, отражающих динамику основных показателей и характеризующих важнейшие аспекты развития экономики России. Подразумевается, что система моделей описывает с определенной степенью достоверности основные процессы и взаимосвязи реальной экономической системы. Это позволяет полагать, что реакция системы моделей на те или иные внешние и внутренние изменения аналогична в количественном и качественном аспектах реакции описываемой системы. Имитационно-прогнозные расчеты опираются на сценарные экспертные оценки будущих значений экзогенных переменных и параметров взаимосвязей.
Опыт, накопленный экспертами-исследователями, позволяет при наличии разработанных программно-технологических и информационных средств оперативно проводить расчеты сотен взаимосвязанных показателей для различных сценарных вариантов прогноза и получать ответы на многие вопросы. Основное преимущество предлагаемого подхода - это оперативная возможность изменения сценарных условий и практически незамедлительный расчет варианта прогноза.
Классификация эконометрических моделей
Существует множество публикаций, отражающих фрагментарные исследования локальных экономических процессов и показателей. Выделим среди них только те, которые применимы для полномасштабного описания динамики прогноза показателей страны, и сравним их. Разумно провести предварительную классификацию используемых средств прогноза в страно-вых моделях, поскольку имеет смысл сравнивать только сопоставимые продукты. В качестве основных характеристик страновых систем моделей прогноза можно выделить:
1) мощность системы прогноза;
2) наличие и развитость средств отладки регрессионных уравнений;
3) наличие и гибкость систем управления расчетом;
4) контроль балансовых значений прогнозных показателей;
5) контроль допустимых значений прогнозных показателей;
6) наличие и развитость табличных и графических средств для анализа прогнозных показателей.
1 См.: Гришин В. И., Абдикеев Н. М., Колмаков И. Б., Воронова Т. А., Турлак В. А., Филиппов Д. И. Система расчета прогнозных показателей макроэкономики России // Финансовая аналитика: проблемы и решения. - 2010. - № 13 (37); Свидетельство о государственной регистрации базы данных № 2012620610 «База данных регрессионных уравнений для прогнозирования показателей внешнеэкономической деятельности». Правообладатели: А. Р. Шарафутдинова, И. Б. Колмаков, С. В. Потапов. Заявка № 2012620354 от 26 апреля 2012 г. Зарегистрировано в реестре баз данных 22 июня 2012 г.
Мощность системы прогноза определяет возможность системы в однопроходном режиме решать предельно допустимое количество взаимосвязанных регрессионных уравнений. Будем различать системы, решающие до 10 уравнений - малой мощности (М), до 100 уравнений - средней мощности (С), до 1000 уравнений - большой мощности (Б), свыше 1000 уравнений -сверхбольшой мощности (Х).
Наличие и развитость средств отладки регрессионных уравнений. Процесс отладки регрессионных уравнений кропотливый и трудоемкий. Без автоматизации основных элементов этого процесса можно построить только системы класса «М». Начиная с систем класса «С» и выше необходим язык записи уравнений на уровне идентификаторов и программы автоматической расшифровки записи уравнений на внешнем языке в таблицы параметров и поля исходных данных для перехода к стандартным процедурам отыскания коэффициентов регрессионных уравнений. Одновременно необходимы процедуры автоматического контроля правильности записи регрессионных уравнений на уровне формального языка. Будем различать три уровня средств отладки регрессионных уравнений: отсутствие автоматизированного контроля записи уравнений (эти функции выполняет эксперт-исследователь) - НЕТ; наличие языка записи уравнений и контроля правильности записи - ЯЗКПР; наличие языка записи, контроля правильности записи уравнений, контроля полноты информации для решения уравнений - ЯЗКПРП.
Следует отметить, что запись регрессионного уравнения - творческий процесс, который не должен ограничиваться одной версией. Для одной исследуемой функции можно предложить несколько вариантов записи регрессионных уравнений и выбрать уравнение с наилучшими показателями качества и точности. Для этих целей подключают систему визуального контроля и сравнения параметров регрессионных уравнений и показателей качества (ЯЗКПРП + ВК).
Наличие и гибкость систем управления расчетом. Развитые страновые модели прогноза и программно-технологические средства, реализующие эти модели, начиная с систем класса «С» и выше должны иметь и воспроизводить как минимум три режима работы: подготовительный, эксплуатационный и заключительный.
Контроль балансовых значений прогнозных показателей. В СНС валовой внутренний продукт вычисляется тремя способами. Каждый из способов вычисления имеет свой набор составляющих показателей, сумма которых в относительных единицах не должна превосходить 1,0 (с установленным допуском отклонений). Любые балансовые показатели, рассчитываемые в системе (например, показатели баланса денежных доходов и расходов населения, баланса трудовых ресурсов и др.), могут быть включены в систему контроля балансовых значений. Наличие выявленных отклонений, превышающих в сумме допустимую величину, не останавливает вычисления, но обращает внимание эксперта-исследователя на имеющееся расхождение.
Контроль допустимых значений прогнозных показателей. Для большинства показателей известны диапазоны допустимых значений. Значения этих ограничений устанавливаются (или переустанавливаются) в подготовительном режиме перед выполнением расчетов. Наличие превышений допус-
тимых значений, выявленных системой контроля, не останавливает вычисления, а служит предупреждением о возможных несоответствиях в выделенных прогнозных значениях.
Наличие и развитость табличных и графических средств для анализа прогнозных показателей. После завершения основного этапа расчетов возникает целый ряд работ по подготовке материалов для аналитического исследования варианта прогноза. Необходимо иметь таблицы и графики с оценкой качества прогноза каждого показателя, возможность визуального сравнения любых показателей в любом количестве, полную картину прогноза показателей исследуемого варианта, результаты контроля балансовых соотношений, результаты контроля допустимых диапазонов изменения индивидуальных значений каждого показателя.
Описываемая система моделей проверена на 300 уравнениях, но может объединять и решать гораздо больше уравнений (до 1500-2000). Известны зарубежные аналоги, реально функционирующие и включающие более 1500 уравнений.
Классификация показателей
Среди исследуемых показателей и факторов следует различать номинальные и аномальные. Например, все показатели СНС номинальные. К аномальным следует отнести показатели, не характерные для стабильной экономики, но используемые в отечественной статистике в настоящее время (например, задолженность по заработной плате, кредиторская задолженность предприятиям, скрытая оплата труда, численность незарегистрированных мигрантов, занятых в экономике, и другие подобные показатели). Для прогноза номинальных показателей рекомендуется не использовать в качестве факторов аномальные показатели или применять аномальные факторы в исключительных случаях, там, где они наилучшим образом (временно) объясняют количественные и качественные явления и процессы. Кроме того, следует иметь в виду, что сами номинальные показатели могут иметь как номинальные значения, так и аномальные.
Предельные возможности эконометрических моделей ограничиваются возможностями информационной базы и состоянием методологического инструментария. Ограничения в применении методов эконометрического прогнозирования наступают при возникновении следующих ситуаций:
1) появлении новых показателей с короткими рядами отчетных данных;
2) несопоставимости отчетных данных показателя из-за радикальных методологических изменений на исследуемом отрезке отчетности;
3) зависимости значений показателя от постановлений законодательной или исполнительной власти или от решений руководства финансовыми органами;
4) использовании показателей со скрытыми (ненаблюдаемыми) наборами факторов влияния;
5) использовании административно-зависимых показателей.
Последняя ситуация была обнаружена на самой ранней стадии использования эконометрических моделей автором этих моделей лауреатом Нобелевской премии 1980 г. Л. Р. Клейном. Администраторы сами определяли бу-
дущие значения управляющих воздействий на основе умозрительных заключений о поведении факторов влияния и исходя из опыта собственных оценок поведения прогнозных рыночных показателей, выработанных доктрин и целей выдавали собственные управляющие воздействия, которые и определяли поведение эндогенных показателей.
Верификация прогноза
При экстраполяционном прогнозировании экономической динамики с использованием регрессионных моделей весьма важным является заключительный этап - верификация прогноза. Верификация любых дескриптивных моделей, к которым относятся регрессионные модели, сводится к сопоставлению расчетных результатов по модели с соответствующими данными действительности - массовыми фактами и закономерностями экономического развития.
Верификация прогнозной модели представляет собой совокупность критериев, способов и процедур, позволяющих на основе многостороннего анализа оценивать качество получаемого прогноза. Однако чаще всего на этапе верификации в большей степени осуществляется оценка метода прогнозирования, с помощью которого был получен результат, чем оценка качества самого результата. Это связано с тем, что до сих пор не найдено эффективного подхода к оценке качества прогноза до его реализации. О точности прогноза можно судить по разности между фактическими значениями исследуемого показателя и его прогнозным значением. Очевидно, что определить указанную разность можно лишь в двух случаях: либо если период упреждения уже закончился и известно значение прогнозируемого показателя (известна его реализация), либо если прогнозирование осуществлялось для некоторого момента времени в прошлом, для которого известны фактические данные.
Проверка точности одного прогноза недостаточна для оценки качества прогнозирования, так как она может быть результатом случайного совпадения. Наиболее простой мерой качества прогнозов при условии, что имеются данные об их реализации, является отношение числа случаев, когда фактическая реализация охватывалась интервальным прогнозом, к общему числу прогнозов. Однако в практической работе проблему качества прогнозов чаще приходится решать, когда период упреждения еще не закончился и фактическое значение прогнозируемого показателя неизвестно. В этом случае более точной считается модель, дающая более узкие доверительные интервалы прогноза. На практике не всегда удается сразу построить достаточно хорошую модель прогнозирования. Поэтому процедуры перестроения регрессионных моделей экономической динамики выполняются итеративно, до уровня достижения заданных значений критериев.
Проблема заключается в том, что не существует единой системы прогнозирования социально-экономического развития, которая бы по всем требуемым показателям отвечала высокому качеству и точности прогнозов. Поэтому актуальными остаются задачи оценки точности и качества показателей прогноза в реально применяемых системах прогноза.
Для систем краткосрочного прогноза класса «С» и выше применение методов ручной верификации уже неприменимо из-за резко возрастающего
объема работ. Потребовалась разработка специальных средств автоматизированных систем верификации.
На базе ПТК нами был разработан верификатор1, который позволил с учетом отчетных сценарных условий и ретроспективной информации оценивать точность прогноза каждого показателя по абсолютной и относительной ошибкам и качество прогноза, базируясь на общепринятых оценках. Оценки качества определялись по коэффициенту детерминации (R2), критерию Дарби-на - Уотсона (DW) и значениям статистики Фишера (F-stat).
В рамках исследования был проведен сравнительный анализ прогнозных показателей развития экономики России с отчетными показателями за 2010 и 2011 гг. Такой подход позволил получить оценки точности и качества прогноза и выявить закономерности в характере поведения исследуемых показателей. Для исследований были взяты 50 показателей экономики России. На каждый показатель приходилось по 40 (с 2000 по 2009 г.) и 44 (с 2000 по 2010 г.) измеряемых отчетных квартальных значения. Прогнозный период составлял четыре квартала.
Экспертно были выбраны критерии точности 5: высокий уровень (High) - 5 < 6%; средний уровень (Middle) - 6% < 5 < 15%; низкий уровень (Low) -5 > 15%. Для критериев качества были приняты следующие значения. По критерию детерминации R2: высокий уровень, если R2 > 0,4; низкий уровень, если R2 < 0,4. Для критерия Дарбина - Уотсона качество оценивалось модулем отклонения значения критерия от 2: высокий уровень, если I ADW| < 1,0; низкий уровень, если I ADW| > 1,0. По критерию Фишера высокий уровень наблюдался, если фактическое расчетное значение критерия оказывалось выше табличного (для доверительного интервала с заданными степенями свободы), а низкий уровень - если фактическое расчетное значение критерия оказывалось ниже табличного (для доверительного интервала с заданными степенями свободы). Совокупный критерий качества прогноза показателя присваивался по худшему из трех наблюдаемых критериев. Полученные в ходе исследований результаты сведены в табл. 1 и 2.
Т а б л и ц а 1
Оценка точности и качества прогноза социально-экономических показателей за 2010 г.
Критерий точности
High Middle Low
Критерий качества High Ex; IP1; IP2; IP3; FS; CK3; CKD1; CKD2; CKG2; PI1; PI2; CK1; CK2 (13/26,0) K$; $/p; Im; BNED%; BI%; BCSS%; IVPT; VVP; ip; FT; CE1; CE2; CE3; PBT1; PBT2; CKG1; MIP (17/34,0) SEI; Nal; ZK; ZBT; Rcrd; Rdep; Rmbc; BCP%; BNEQ%; BNE%; DFB%; TIE; GI1; GI2; NNI1; NNI2; SE (17/34,0)
Low (0/0) (0/0) ZZ; iZK; TI1 (3/6,0)
1 См.: Свидетельство о государственной регистрации программы для ЭВМ № 2013613234 «Ве-рификатор-2013 - анализ качества и точности эконометрического прогноза показателей экономики РФ». Правообладатели: А. В. Ганжа, И. Б. Колмаков, С. В. Потапов. Заявка № 201361893 от 30 января 2013 г. Зарегистрировано в реестре программ для ЭВМ 28 марта 2013 г.
Т а б л и ц а 2
Число показателей с фиксированными характеристиками, отнесенное к % от общего количества исследуемых показателей, за 2010 г.
Оценка уровня критерия показателей прогноза Общее число показателей % от общего числа
High 30 60,0
Low 20 40,0
По результатам вычислительного эксперимента показателям Ex (экспорт); IP1, IP2, IP3 (индекс потребительских цен); FS (производство услуг в ВВП); CKD1, CKD2 (расходы на конечное потребление домашних хозяйств); CKG2 (расходы на конечное потребление государственных учреждений); PI1, PI2 (денежные доходы населения); CK1, CK2, CK3 (расходы на конечное потребление) по критериям точности и качества были присвоены высокие значения.
Показателям K$ (курс доллара); $/p (покупательная способность доллара); Im (импорт); BNED% (доходы от внешнеэкономической деятельности -нарастающим итогом); BI% (доходы федерального бюджета - нарастающим итогом); BCSS% (налог на добавленную стоимость - в % от доходов); IVPT (валовой внутренний продукт - циклический темп роста); VVP (валовой внутренний продукт - квартальные значения); ip (индекс цен производителей промышленных товаров); FT (производство товаров в ВВП); CE1, CE2, CE3 (оплата труда наемных работников); PBT1, PBT2 (валовая прибыль экономики -валовой смешанный доход); CKG1 (конечное потребление государственных учреждений); MIP (денежные доходы населения) были присвоены значения по критерию точности «средний» и критерию качества «высокий».
Показатели SEI (сальдо экспортно-импортных операций); Nal (покупка иностранной валюты населением - доля в доходах); ZK (задолженность кредиторская просроченная); ZBT (дефицит (профицит) консолидированного бюджета); Rcrd (ставка по кредитам предприятиям); Rdep (средневзвешенная ставка по рублевым депозитам); Rmbc (ставка по межбанковским кредитам); BCP% (налог на прибыль организаций); BNEQ% (доходы от внешнеэкономической деятельности - поквартально); BNE% (доходы от внешнеэкономической деятельности - нарастающим итогом); DFB% (профицит (+), дефицит (-) федерального бюджета); TIE (чистые (за вычетом субсидий) налоги на продукты); GI1, GI2 (валовое накопление); NNI1, NNI2 (валовое накопление основного капитала); SE (чистый экспорт товаров и услуг) имеют высокое качество и низкую точность.
Показатели ZZ (задолженность организаций по заработной плате); iZK (индекс кредиторской просроченной задолженности); TI1 (чистые налоги на производство и экспортно-импортные операции) имеют низкие значения точности в сочетании с низкими значениями качества.
Аналогично были проанализированы и охарактеризованы показатели 2011 г. (табл. 3 и 4).
Т а б л и ц а 3
Оценка точности и качества прогноза социально-экономических показателей за 2011 г.
Критерий точности
High | Middle Low
Критерий качества High Ex; K$; $/p; Im; Nal; IP1; IP2; IP3; ip; BI%; BCSS%; FT; FS; GI1; GI2; CKD1; CKD2; CKG1; CKG2; PI1; PI2; CK1; CK2; CK3; IVPT; VVP; CE1; CE2; CE3; MIP (30/60,0) SEI; ZK; ZBT; Rcrd; Rdep; Rmbc; BCP%; BNEQ%; BNE%; DFB%; TIE; NNI1; NNI2; SE; PBT1; PBT2; BNED% (17/34,0)
Low (0/0) iZK; ZZ; TI1 (3/6,0)
Т а б л и ц а 4
Число показателей с фиксированными характеристиками, отнесенное к % от общего количества исследуемых показателей, за 2011 г.
Оценка уровня критерия показателей прогноза Общее число показателей % от общего числа
High 30 60,0
Low 20 40,0
По результатам исследований за 2010 г. 30 показателей оказались с высокими оценками качества и точности прогноза, 20 - с низкими; по показателям за 2011 г. - аналогичная ситуация.
Анализ показателей на стабильность выдачи результатов позволяет сделать предварительные выводы. При сравнении критериев качества и точности прогноза показателей за 2010 и 2011 гг. было установлено, что 27 показателей (54%) сохранили точность и качество в прежних диапазонах. Изменению подверглись 6 показателей, из них 3 - в сторону ухудшения, 3 - улучшения. У показателей PBT1, PBT2, BNED% снизилась точность без понижения качества. У показателей NAL, GI1, GI2 повысилась точность без понижения качества. Таким образом, количество показателей, приемлемых для прогнозирования, составило 60% и для 2010, и для 2011 г. (табл. 5).
Анализируя динамику поведения отдельных показателей, удалось установить некоторые закономерности и улучшить значения показателей точности, экспертно учитывая найденные закономерности. Для повышения значений точности и качества прогноза можно либо продолжить поиск влияющих факторов и включить в расчеты новые регрессионные уравнения, либо выявить закономерности при построении расчетных значений и применить корректирующие действия. Если предельные возможности эконометрических моделей в итоге для ряда показателей оказываются исчерпанными, а требования к точности и качеству прогноза этих показателей сохраняются высокими, то одним из направлений, решающих возникшую проблему, является применение альтернативных методов прогнозирования - интеллектуальных систем прогноза показателей: нейросетевых, нечеткого моделирования и др.
Т а б л и ц а 5
Сравнительная оценка изменения показателей по критериям качества и точности
Совокупная оценка Показатели 2010 г. Показатели 2011 г. Без изменений Ухудшение Улучшение
Ex; IP1; IP2; IP3; FS; CK3; CKD1; CKD2; CKG2; PI1; PI2; CK1; CK2; K$; $/p; Im; BNED%; BI%; BCSS%; IVPT; VVP; ip; FT; CE1; CE2; CE3; PBT1; PBT2; CKG1; MIP Ex; K$; $/p; Im; Nal; IP1; IP2; IP3; ip; BI%; BCSS%; FT; FS; GI1; GI2; CKD1; CKD2; CKG1; CKG2; PI1; PI2; CK1; CK2; CK3; IVPT; VVP; CE1; CE2; CE3; MIP Ex; IP1; IP2; IP3; FS; CK3; CKD1; CKD2; CKG2; PI1; PI2; CK1; CK2; K$; $/p; Im; BI%; BCSS%; IVPT; VVP; ip; FT; CE1; CE2; CE3; CKG1; MIP PBT1; PBT2; BNED%
Ьо^' SEI; Nal; ZK; ZBT; Rcrd; Rdep; Rmbc; BCP%; BNEQ%; BNE%; DFB%; TIE; GI1; GI2; NNI1; NNI2; SE SEI; ZK; ZBT; Rcrd; Rdep; Rmbc; BCP%; BNEQ%; BNE%; DFB%; TIE; NNI1; NNI2; SE; PBT1; PBT2; BNED% SEI; ZK; ZBT; Rcrd; Rdep; Rmbc; BCP%; BNEQ%; BNE%; DFB%; TIE; NNI1; NNI2; SE Ш; 011; 012
Появляется новое направление исследования и необходимость создания гибридных систем моделей краткосрочного прогноза показателей социально-экономического развития России (рисунок).
Гибридные системы моделей краткосрочного прогноза показателей социально-экономического развития России (ГСМКП)
Интеллектуальные системы (нейросетевые модели, нечеткие модели временных рядов, нечеткие множества и др.)
Рис. Гибридные системы моделей краткосрочного прогноза показателей социально-экономического развития России
Создание гибридных систем моделей краткосрочного прогноза показателей социально-экономического развития России, повышение качества и точности прогноза остаются актуальнейшими задачами для разработчиков информационных систем и программно-технологических комплексов.
Список литературы
1. Гришин В. И., Абдикеев Н. М., Колмаков И. Б., Воронова Т. А., Тур-лак В. А., Филиппов Д. И. Система расчета прогнозных показателей макроэкономики России // Финансовая аналитика: проблемы и решения. - 2010. -№ 13 (37).
2. Шарафутдинова А. Р. Применение нейросетевых моделей для повышения качества и точности краткосрочного прогноза показателей социально-экономического развития России // Вестник Российского экономического университета имени Г. В. Плеханова. - 2012. - № 8 (50).
Балансово-эконометрические системы моделей
