Прогнозирование региональной динамики с учетом пространственных связей на основе нейронных сетей Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 332.144

Р. Р. Латыпова, А. П. Кирпичников, А. С. Семеенко

ПРОГНОЗИРОВАНИЕ РЕГИОНАЛЬНОЙ ДИНАМИКИ С УЧЕТОМ ПРОСТРАНСТВЕННЫХ

СВЯЗЕЙ НА ОСНОВЕ НЕЙРОННЫХ СЕТЕЙ

Ключевые слова: временные ряды, нелинейная модель, искусственная нейронная сеть, ошибки прогнозирования,

пространственная корреляция, ВРП, США.

В статье предлагается использовать искусственную нейронную сеть (ИНС) с архитектурой многослойного персептрона, для моделирования и прогнозирования регионального экономического роста Соединенных Штатов Америки на основе данных за период с 1997 по 2012 гг. На основе данных внутреннего регионального продукта США, осуществляется оценка ряда ИНС и демонстрируется основные спецификации нелинейных моделей базирующихся на входных параметрах, подающихся путем предыдущих значений зависимых переменных, которые в итоге имеют пространственную корреляцию ошибки прогноза. Вследствие чего, использовалась матрица соседства, значения которой были включены во входы ИНС, как предполагается, для уменьшения пространственной корреляции ошибки прогноза и улучшения качества прогнозирования.

Keywords: temporary ranks, nonlinear model, artificial neural network, forecasting errors, spatial correlation,

GDP, USA.

In this paper we suggest using multilayer perceptron articial neural network to model andforecast the United States regional economic growth in 1997 - 2012. Based on the data onthe US regional domestic product we estimate a number of ANNs and show that the basicMLPspecications based as inputs on only previous values of dependent variables deliversignicantly spatially correlated prediction error terms. Hence we use the neighborhoodmatrix to construct spatially lagged dependent variable and include them into the set ofANNs' inputs, which appears to signicantly decrease the prediction error spatial correlationand improve the prediction quality of the ANNs.

1. Введение

Нейросетевые инструменты и модели широко используются при решении самых различных задач там, где обычные алгоритмические решения оказываются неэффективными или вовсе невозможными.Применение нейронных сетей показывает отличные результаты практически в каждой области применения.Отметим статью, в которой осуществляется применение нейросетевых моделей, при исследовании и анализе мирового экономического кризиса 2007-2009 гг. проведенное А. Коком и Т. Теравирстрой 2013 г.[3] Так же интересное исследование провели Пинг-Фэн Пай и Вэй Чан-Хун в своей статье 2005 г. в которой они осуществили прогнозирование региональной нагрузки электроэнергии с применением генетических алгоритмов [4].

В ходе обзора литературы относительно прогнозирования региональной динамики, был замечен следующий факт: существует множество линейных и нелинейных моделей с использованием и без использования такого параметра как пространственный лаг. Наиболее популярной работой в области прогнозирования региональной динамики с использованием пространственных взаимосвязей, является статья Х. Счейна, П. Вэплера, А. Ейха 2010 г. в которой осуществлялось построение регрессионной модели прогноза относительного такого параметра, как безработица с использованием пространственного лага. [2] Так же существует множество нейросетевых моделей, относительно прогнозирования региональной динамики, например известная статья 2002 г. Че-Чан Хсу и Чиа-ЙонЧена, в которой приводятся модели

прогнозирования региональной динамики через нейросетевые модели, но нигде не проводилось исследования использования нейросетевой модели с пространственными взаимосвязями[6].

Соответственно объектом исследования является влияние пространственного лага, как дополнительного параметра на функцию отклонения.

2. Данные

В проводимом исследовании были взяты такие показатели, как реальный ВРП на душу населения и ВРП в уровнях, измеряемый в долларах США, за период с 1997 по 2012 гг., уровень занятости, измеряемый в количестве рабочих мест, так же уровень реального ВРП на душу населения к предыдущему году выраженный в процентах и ВРП в уровнях к предыдущему году выраженный в процентах за аналогичный период. Данные для анализа были взяты с сайта бюро экономического анализа США (http://www.bea.gov). Исследование проводилось по 50-ти США.

В данной работе осуществляется прогноз реального ВРП на душу населения и отношение уровня реального ВРП к предыдущему году выраженного в процентном соотношении. В качестве зависимого фактора к обоим прогнозируемым параметрам был взят уровень занятости и пространственный лаг, рассчитанный для каждого прогнозируемого параметра. Вариации подачи прогнозируемых рядов данных будут описаны в виде спецификаций, которые будут составлены на основании дифференциации подачи зависимых данных к прогнозируемым. Наборы данных, которые использовались в исследовании

являются следующие показатели - реальный ВРП на душу населения, уровень занятости, отношение уровня реального ВРП к предыдущему году .На рисунке 1 представлена карта США, которая наглядным образом демонстрирует

пространственное расположение штатов.

Рис. 1 - Пространственное расположение США

3. Используемая нейросетевая архитектура

Существует большой спектр нейросетевых архитектур, используемых для решения разного рода задач [8]. В данной работе для прогнозирования была использована нейронная сеть с прямым распространением сигнала и обратным распространением ошибки (многослойный персептрон). Для таких сетей характерно то, что все связи направлены строго от входных нейронов к выходным. Модель многослойного персептрона представлена на рис.2.Как и любую нейронную сеть следует для начала обучить на массиве исходных данных. Обучение производиться по одному из стандартных алгоритмов обучение с учителем (supervisor-basedlearning, [10]); в данной работе применение нейросетевой модели реализовано в среде МаНаЪ 2013а (пакет "МеигаЬе^огЬ"). Выполнение алгоритма продолжается до тех пор, пока для всех входных векторов, входящих в состав обучающей последовательности, погрешность на выходе не станет меньше априори заданного уровня (реализуется алгоритм численной оптимизации — метод градиентного спуска). Метод имеет свои преимущества и недостатки, например:

1. Медленная сходимость метода градиентного спуска.

2. Функционал ошибки может минимизироваться к локальному, а не к глобальному минимуму. Возможным выходом является повторение обучение придав матрицам V и Ж другие значения на первом шаге (что также увеличивает затраты времени на обучение).

3. Подстраивая веса и минимизируя ошибку для одного из обучающих векторов, мы можем её увеличивать для другого. Поэтому метод может, вообще говоря, не сойтись. Однако практика показала, что такие случаи крайне редки.

На сегодняшний день многослойный персептрон — одна из самых популярных и используемых НС. При обучении НС, за счёт своего внутреннего строения, выявляет закономерности в

связи входных и выходных образов, тем самым как бы обобщает полученный на обучающей выборке опыт.

Источник: neurones.ru

Рис. 2 - Модель многослойного персептрона

Достаточно иметь большой набор векторов, для которых известен ожидаемый выход. Основные задачи, которые может решать многослойный персептрон это прогнозирование временных рядов, анализ и прогнозирование финансовых рынков, экспертные системы и т. д.

Выделим свойства многослойного персептрона [8, chapter 6]:

1. Каждый нейрон сети имеет нелинейную функцию активации. Важно подчеркнуть, что такая нелинейная функция должна быть гладкой (т.е. всюду дифференцируемой). Самой популярной формой функции, удовлетворяющей этому требованию, является сигмоидальная.

2. Несколько скрытых слоев. Многослойный персептрон содержит один или несколько слоев скрытых нейронов, не являющихся частью входа или выхода сети. Эти нейроны позволяют сети обучаться решению сложных задач, последовательно извлекая наиболее важные признаки из входного образа.

3. Высокая связность. Многослойный персептрон обладает высокой степенью связности, реализуемой посредством синоптических соединений. Изменение уровня связности сети требует изменения множества синоптических соединений или их весовых коэффициентов.

Количество входных и выходных элементов в многослойном персептроне определяется условиями задачи. В качестве начального приближения можно взять один промежуточный слой, а число элементов в нем положить равным полусумме числа входных и выходных элементов.

4. Прогнозирование с применением метода скользящего окна и зависимой переменной

Метод скользящего окна используется при работе с моделями с использованием временных последовательностей данных. Окно - это период времени, используемый для каждого случая обучения. Например, если мы ежегодно получаем данные об уровне ВРП на душу населения в течение n лет, и мы установили окно в 5 лет, то в первом случае обучения используются данные с 1 по 5 год и полученный прогноз сравниваем с данными за 5 лет.

Во втором случае используются данные со 2 по 6 год, и полученный прогноз сравнивается с 7 и т.д. Наглядная реализация метода представлена на рис.3.

Рис. 3 - Наглядное представление метода скользящего окна

минимизирует ошибку прогноза. Но проанализировав, было установлено, что в большей степени оказывает влияние на минимизацию ошибки вторая спецификация. Так же отметим, что при прогнозировании показателей в относительных величинах, ошибка прогноза значительно снижается.

Таблица 1 - Оценка прогноза ВРП в уровнях и ВРП на душу населения

Подача данных на вход НС осуществляется на основании одной из спецификаций к модели. Рассмотрим две спецификации к модели прогнозирования. Первая спецификация будет представлять собой преобразование данных прогнозируемого параметра методом скользящего окна без использования зависимых переменных. Вторая спецификация будет строиться на основе первой, т. е. с преобразованием данных прогнозируемого параметра методом скользящего окна, но с использованием зависимого параметра. В качестве зависимого параметра был использован уровень занятости. В качестве прогнозируемых параметров были использованы ВРП на душу населения и ВРП в уровнях. Обозначим спецификации:

- спецификация №1: прогнозируемый параметр, данные которого преобразованы методом скользящего окна;

- спецификация №2: прогнозируемый параметр, данные которого преобразованы методом скользящего окна, с использованием зависимой переменной (в данном исследовании, в качестве простой зависимой переменной везде используется уровень занятости).

Для оценки прогноза была использована функция отклонения MAPPE (средняя абсолютная ошибка в процентах), которая рассчитывается по следующей формуле:

1 "

MAPPE =-У

ЛГ ¿-f

zw-zw

zm

■■ 100%

(1) где:

N — количество результатов прогноза временных рядов;

Z(t) — фактическое значение временного ряда;

— "-■■" — прогнозное значение временного ряда.

Приведем результаты оценки прогноза за период 2010-2012 гг. на основе описанных спецификаций.

В табл. 1 представлена оценка прогноза показателей ВРП на душу населения и ВРП в уровнях. В таблице 2 представлена оценка показателей ВРП на душу населения по отношению к предыдущему году и ВРП в уровнях по отношению к предыдущему году. Знаком "*" указано наименьшее значение функции отклонения при сравнении разных спецификаций модели.

На основании приведенных итоговых таблиц, невозможно однозначно сказать какая спецификация модели в наибольшей степени

Год Спецификация № 1 ВРП на душу Спецификация №2 ВРП на душу Спецификация №1 ВРП в уровнях Спецификация №2 ВРП в уровнях

2010 г. 13,97% 11,65%* 18,61%* 23,46%

2011 г. 7,57%* 8,64% 13,32%* 18,91%

2012 г. 9,35% 5,40%* 9,36% 7,39%*

Таблица 2 - Оценка прогноза ВРП в уровнях и ВРП на душу населенияпо отношению к предыдущему году

Год Спецификация №1 ВРП на душу по отношени ю к пред. году Спецификация №2 ВРП на душу по отношению к пред. году Спецификация №1 ВРП в уровнях по отношению к пред. году Спецификация №2 ВРП в уровнях по отношению к пред.году

2010 г. 7,07% 3,46%* 5,13%* 6,25%

2011 г. 5,27% 4,37%* 4,02%* 5,50%

2012 г. 6,52% 4,23%* 3,98% 3,80%*

Произведем расчет пространственной автокорреляции ошибки. Пространственная автокорреляция ошибки рассчитывается на основании двух векторов: результирующего вектора ошибки прогноза по каждому Штату Америки и результирующему вектору пространственной ошибки прогноза по каждому Штату Америки. Результирующий вектор пространственной ошибки прогноза строиться как умножение результирующего вектора ошибки прогноза на матрицу «соседства». Матрица «соседства» представляет собой матрицу, состоящую из нулей и единиц, где единица ставиться в случае соседства штата, и ноль в обратном случае.

Расчетные данные пространственной автокорреляции ошибки по данным полученным на основании спецификаций описанных выше представлены в табл. 3 и табл. 4.

Полученные результаты, расчета пространственной автокорреляции ошибки свидетельствуют о том, что автокорреляция между вектором ошибки и вектором пространственной ошибки значительная. Следовательно, можно сделать предположение о том, что ошибку прогноза можно уменьшить, введя в модель нейронной сети параметр, отражающий пространственную зависимость.

Таблица 3 - Пространственная автокорреляция ошибки ВРП в уровняхи ВРП на душу населения

Год Специфик ация №1 ВРП на душу Спецификаци я №2 ВРП на душу Спецификаци я №1 ВРП в уровнях Спецификаци я №2 ВРП в уровнях

2010 г. -0,1552 0,1025 0,3127 -0,1418

2011 г. -0,1865 -0,2511 -0,2187 -0,0845

2012 г. -0,1364 -0,0249 -0,1369 0,0215

Таблица 4 - Пространственная автокорреляция ошибки ВРП в уровнях и ВРП на душу населения по отношению к предыдущему году

Год Специфик ация №1 ВРП на душу по отношени ю к пред.году Спецификаци я №2 ВРП на душу по отношению к пред.году Спецификаци я №1 ВРП в уровнях по отношению к пред.году Спецификаци я №2 ВРП в уровнях по отношению к пред.году

2010 г. -0,1852 -0,1248 -0,2584 0,0475

2011 г. -0,2874 0,1147 -0,4587 0,0985

2012 г. -0,2721 0,0254 0,1985 -0,2144

5. Прогнозирование с использованием модели с пространственным параметром и ее анализ

Как отмечалось выше, основываясь на показателях расчета автокорреляции можно сделать предположение о том, что ошибку прогноза можно уменьшить, используя в модели пространственный параметр. В качестве пространственного параметра используется пространственный лаг. Для построения пространственного лага была получена блочно-диагональная (квазидиагональная) матрица, диагональными блоками которой является матрица соседства, построенная на основании территориального расположения штатов

представленного на рисунке 1 (см. раздел 2).

Матрица выглядит следующим образом:

A1 0 0 A2

00

(*)

Блок А„ в матрице (*) - это матрица соседства, которая строиться следующим образом: при наличии соседства между штатами присваивается значение равное 1, при отсутствии соседства присваивается значение 0. Матрица соседства является квадратичной размером п, где п - это

аи

количество штатов, а значения элементов - ^¿ , где 1 и ) - это штаты. Построения пространственного лага для прогнозирования реального ВРП на душу населения использовалась матрица, выстроенная за 16 лет, так как анализируемый период начинается в 1997 и

заканчивается в 2012 году, соответственно матрица имеет размерность 800х800 значений. При построении пространственного лага для прогнозирования отношения уровня реального ВРП к предыдущему году строилась матрица за 15 лет, так как начальным значением ряда являлось отношение 1997 к 1998 гг., соответственно матрица имеет размерность 750х750 значений.

После составления блочно-диагональных матриц для каждого прогнозируемого параметра, осуществляется её умножение на ряд панельных данных представленных в виде вектора (**). Так как пространственный лаг следует построить для каждого прогнозируемого параметра то такую процедуру умножения мы проводим для уровня реального ВРП и отношения уровня реального ВРП к предыдущему году. В итоге мы получим пространственный лаг - представленный в виде вектора (***), дополнительный параметрам.

он и будет параметр к

использован как прогнозируемым

Л" b2 p = " Р1' Р2

А _ . Рп .

B--

(***)

Изначально предполагается, что пространственный лаг, должен в большей степени способствовать минимизации ошибки прогноза, по сравнению с другими факторами.

Составим еще две спецификации к неросетевой модели, в которых будет использован пространственный лаг.

Одна спецификация будет представлять собой преобразование данных прогнозируемого параметра методом скользящего с использованием пространственного лага. Другая спецификация будет строиться следующим образом: будет осуществлено преобразованием данных прогнозируемого параметра методом скользящего окна с использованием зависимого параметра уровня занятости и с использованием пространственного лага. В качестве прогнозируемых параметров используем те же, что и ранее - ВРП на душу населения и ВРП в уровнях. Обозначим спецификации:

- спецификация №3: прогнозируемый макроэкономический параметр преобразованный методом скользящего окна с уровнем занятости и с использованием пространственного лага;

- спецификация №4: прогнозируемый макроэкономический параметр преобразованный методом скользящего окна с использованием пространственного лага.

Для оценки прогноза была использована функция отклонения MAPPE.

Приведем результаты оценки прогноза за период 2010-2012 гг.полученные на основе спецификации №3 и спецификации №4.

В таблице 5 представлена оценка прогноза показателей ВРП на душу населения и ВРП в

п

уровнях. В таблице 6 представлена оценка показателей ВРП на душу населения по отношению к предыдущему году и ВРП в уровнях по отношению к предыдущему году.

Таблица 5 - Оценка прогноза ВРП в уровнях и ВРП на душу населения

Год Специфик ация №3 ВРП на душу Спецификаци я №4 ВРП на душу Спецификаци я №3 ВРП в уровнях Спецификаци я №4 ВРП в уровнях

2010 г. 11,17%* 11,74% 8,51%* 11,38%

2011 г. 5,43%* 9,83% 7,13%* 23,76%

2012 г. 5,41% 3,19%* 6,74%* 18,17%

Таблица 6 - Оценка прогноза ВРП в уровнях и ВРП на душу населения по отношению к предыдущему году

Год Специфик ация №3 ВРП на душу по отношени ю к пред.году Спецификаци я №4 ВРП на душу по отношению к пред.году Спецификаци я №3 ВРП в уровнях по отношению к пред.году Спецификаци я №4 ВРП в уровнях по отношению к пред.году

2010 г. 5,53% 5,15%* 4,20%* 4,77%

2011 г. 4,04% 3,77%* 3,64%* 3,71%

2012 г. 3,19%* 3,70% 3,38% 3,29%*

На основании приведенных итоговых таблиц однозначно выделить спецификацию, которая наилучшим образом влияет на минимизацию ошибки прогноза нельзя, но глядя на общую картину отклонений, лидирует по наименьшим отклонениям спецификация №3 (с уровнем занятости и с использованием пространственного лага).

Произведем расчет и анализ пространственной ошибки автокорреляции, как это делалось ранее. Расчетные данные пространственной автокорреляции ошибки по данным полученным на основании спецификации №3 и спецификации №4 представлены в таблице 7 и таблице 8. Пример картограмм ошибки прогноза для спецификаций без и с пространственным лагом приведен на рис. 4.

Таблица 7 - Пространственная автокорреляция ошибки ВРП в уровняхи ВРП на душу населения

Год Специфик ация №3 ВРП на душу Спецификаци я №4 ВРП на душу Спецификаци я №3 ВРП в уровнях Спецификаци я №4 ВРП в уровнях

2010 г. 0,0984 0,0250 0,0547 -0,0365

2011 г. -0,0587 -0,0204 -0,0552 -0,0320

2012 г. -0,0498 0,0701 -0,0150 -0,1003

Таблица 8 - Пространственная автокорреляция ошибки ВРП в уровнях и ВРП на душу населения по отношению к предыдущему году

Год Спецификация №3 ВРП на душу по отношению к пред.году Спецификация №4 ВРП на душу по отношению к пред.году Спецификация №3 ВРП в уровнях по отношению к пред.году Спецификация №4 ВРП в уровнях по отношению к пред.году

2010 г. 0,0299 0,9870 0,0745 0,0369

2011 г. 0,0254 0,0687 0,0547 0,1205

2012 г. 0,0199 0,0203 0,0684 0,9854

На основании полученных результатов, следует обратить внимание на то, что произошел значительный спад пространственной ошибки автокорреляции. Это подтверждает предположения сделанные ранее о том, что при наличии значительной пространственной автокорреляции, есть возможность уменьшить ошибку прогноза, введя в модель пространственный параметр.

6. Сравнительный анализ спецификаций модели

Проведем анализ результатов функций отклонения спецификаций построенных без использования пространственного лага и с его использованием.

Составленные сводные таблицы наглядно показывают, что минимальная ошибка прогноза появляется только в модели с пространственным лагом. Наибольшую точность показывает модель с использованием спецификации №3, т. е. модель у которой прогнозируемый макроэкономический параметр преобразован методом скользящего окна с зависимой переменной уровнем занятости и с использованием пространственного лага. На основании этого, следует, что введение пространственного лага в моделях с пространственной зависимостью, оказывает положительное влияние на минимизацию ошибки прогноза. Так же отметим, что выдвинутое изначально предположение о том, что существование пространственной автокорреляции ошибки свидетельствует о возможности снижения показателей функции отклонения, путем введения пространственного параметра.

7. Выводы

В исследовании проведена разработка популярной, в области нейросетевого макроэкономического прогнозирования, модели нейронной сети. Так же осуществлено прогнозирование макроэкономических показателей, таких как ВПР в уровнях и ВРП на душу населения на основании методов разработанных в исследованиях, проведенных в этой области. Так как основной задачей данного исследования являлось, разработка методов увеличения точности прогнозирования макроэкономических показателей, было выдвинуто предположение о том, что если существует значительная ошибка пространственной автокорреляции, то есть возможность увеличить

точность прогноза введя в модель параметр пространственной зависимости. В итоге предположение о введении пространственного параметра в случае наличия пространственной автокорреляции ошибки подтвердилось, что наглядно демонстрируют итоговые сводные таблицы работы.

Введение пространственного параметра в регрессионных моделях, осуществляет

положительное влияние на увеличение точности прогноза, такой вывод был сделано на основании изученной литературы в данной области исследования. В работе было выдвинуто предположение о положительном влиянии пространственного лага на точность прогноза в нейросетевых моделях. В ходе исследования данное предположение получило свое подтверждение.

В перспективе, касаемо данного исследования можно провести оценку и сравнительный анализ точности прогноза между регрессионными моделями с пространственным лагом и нейросетевыми моделями с пространственным лагом.

Литература

1. Timo Terasvirta, Dick van Dijk, Marcelo C. Medeiros, Linear models, smooth transition autoregressions, and

neural networks for forecasting macroeconomic time series: A re-examination (2005).

2. N. Schanne, R. Wapler, A. Weyh, Regional unemployment forecasts with spatial interdependencies.(2010).

3. B. Kock, Timo Terasvirta Forecasting performances of three automated modelling techniques during the economic crisis 2007-2009 (2013).

4. Ping-Feng Pai, Wei-Chiang Hong, Forecasting regional electricity load based on recurrent support vector machines with genetic algorithms (2005).

5. Nikolas Kourentzes, Devon K. Barrow, Sven F. Crone, Neural network ensemble operators for time series forecasting (2014).

6. Che-Chiang Hsu, Chia-Yon Chen, Regional load forecasting in Taiwan-applications of artificial neural networks (2002).

7. Massimiliano Marcellinoa, James H. Stockb, Mark W. WatsoncA comparison of direct and iterated multistep AR methods for forecasting macroeconomic time series (2006).

8. Simon Hay kin, Neural Networks: A Comprehensive Foundation (2nd Edition), Издательство: Pearson Education, Inc., 2006.

9. Уоссермен Ф., Нейрокомпьютерная техника: Теория и практика — М.: Мир, 1992.

10. Hinton, G. E.; Osindero, S.; Teh, Y. (2006). "A fast learning algorithm for deep belief nets". Neural Computation 18 (7).

© Р. Р. Латыпова - к.э.н., зав. каф. информационных процессов и технологий Балтийской академии туризма и предпринимательства, ramilya1983@mail.ru; А. П. Кирпичников - д-р физ.-мат. наук, зав. каф. интеллектуальных систем и управления информационными ресурсами КНИТУ, kirpichnikov@kstu.ru; А. С. Семеенко - магистр факультета экономики НИУ «Высшая школа экономики», semeenko_a_s@mail.ru.

© R. R. Latypova - Ph.D., Head of the Department of Information Processes and Technology, Baltic Academy of Tourism and Business, ramilya1983@mail.ru; A P. Kirpichnikov - Dr. Sci, Head of the Department of Intelligent Systems & Information Systems Control, KNRTU, e-mail: kirpichnikov@kstu.ru; A. S. Semeenko - Master of Higher School of Economics, Department of Economics, semeenko_a_s@mail.ru.