Подходы к решению задачи прогнозирования временных рядов с помощью нейронных сетей Текст научной статьи по специальности «Компьютерные и информационные науки»

ПОДХОДЫ К РЕШЕНИЮ ЗАДАЧИ ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ С ПОМОЩЬЮ НЕЙРОННЫХ СЕТЕЙ

А.С. Рудаков,

аспирант Московского государственного университета печати E-mail: shmel [email protected]

\

В статье предлагается методика выбора рационального подхода к решению задачи прогнозирования временных рядов с помощью нейронных сетей между существующим подходом аппроксимации и предлагаемым подходом кластеризации, который только косвенно упоминается в области прогнозирования. Предлагаемая методика позволяет повысить эффективность проектирования и применения нейронных сетей для решения задач прогнозирования временных рядов путем определения на начальном этапе проектирования наиболее подходящей для решения поставленной задачи структуры сети и алгоритма обучения. Для выполнения этой задачи в основу методики положен анализ исходных обучающих данных, известных из условия поставленной задачи. В статье предлагается алгоритм для реализации методики.

Введение

Одной из наиболее распространенных областей применения нейронных сетей в настоящее время является область экономических и финансовых систем [1]. Это обусловлено одним из основных достоинств нейронных сетей — возможностью имитации процессов с большим количеством влияющих параметров, что является очень сложным или невозможным для традиционных методов в подобных условиях, например методов оптимизации. Однако, следствием широкого распространения нейронных сетей стала разработка большого количества разнообразных алгоритмов обучения нейронных сетей и их модификаций. Таким образом, актуальной является задача разработки метода выбора рационального подхода к решению задачи прогнозирования временных рядов с помощью нейронных сетей.

В большинстве случаев для решения задач прогнозирования с помощью нейронных сетей в настоящее время применяют подход аппроксимации функции. При использовании подхода аппроксимации функции, настраиваемые параметры сети

в результате обучения принимают вид, соответствующий некоторой функции, представленной входными и выходными векторами обучающего множества [2]. Данный подход в основном применяется в задачах прогнозирования, в которых каждому конкретному входному вектору, представленному входными параметрами нейронной сети, соответствует конкретное значение прогнозируемого вектора, представленного выходными параметрами нейронной сети:

где — г-ый входной вектор, у1 — соответствующее значение прогнозируемого вектора;

7(хг) — прогнозирующая функция.

Подход аппроксимации функции имеет свои недостатки. В случае непериодической зависимости входных и выходных данных не исключена ситуация отрицательного результата обучения, из-за сложной формы аппроксимируемой функции.

Отрицательный результат обучения возможен также в условиях неполных данных, необходимых для успешной аппроксимации функции. Избежать подобных результатов можно, например, путем ввода в систему некоторой допустимой погрешности обучения.

Для решения задач прогнозирования временных рядов с помощью нейронных сетей предлагается также применять еще один подход, который только косвенно упоминается в области прогнозирования, — подход кластеризации. Применение подхода кластеризации предпочтительно в случаях, когда все множество входных векторов можно разбить на отдельные непересекающиеся подмножества — классы, или кластеры, и поставить в соответствие каждому подмножеству отдельный выходной вектор:

где ху — у-ый входной вектор;

У — выходной вектор;

5(ху) — прогнозирующая функция;

X — подмножество обучающих входных векторов — класс, которое соответствует выходному вектору;

к — количество непересекающихся подмножеств входных векторов — классов и, соответственно, количество выходных векторов.

Таким образом, задача прогнозирования временных рядов с применением подхода кластеризации заключается в нахождении класса, к которому в большей степени подходит входной вектор, представленный значениями входных параметров нейронной сети. Подход кластеризации упрощает задачу прогнозирования, так как в нем происходит аппроксимация подмножеств обучающих входных векторов, а не отдельных обучающих входных векторов, что увеличивает скорость обучения, уменьшает время проектирования и повышает эффективность применения нейронной сети. Одним из недостатков подхода кластеризации является конечное число возможных прогнозируемых классов, которое зависит от количества выходных параметров проектируемой нейронной сети. Для увеличения числа возможных прогнозируемых классов можно увеличить размеры проектируемой нейронной сети.

Часто главная роль в постановке задачи прогнозирования отводится человеку: он определяет цель задачи, ее исходные данные и подход к решению. Положительный результат в решении поставленной задачи в большей степени определяется опытом и знаниями разработчика. Однако проектирование

нейронной сети даже опытным специалистом не гарантирует рационального выбора подхода к решению задачи прогнозирования, из-за возможной человеческой ошибки, что подтверждает актуальность разработки метода выбора рационального подхода к решению задачи прогнозирования, позволяющего более обоснованно принять решение по выбору подхода. Выбор рационального подхода влияет на эффективность проектирования и применения нейронной сети для решения задачи прогнозирования временных рядов, так как на начальном этапе определяет наиболее подходящую для поставленной задачи структуру сети и алгоритм обучения.

Структуры и алгоритмы обучения нейронных сетей для реализации подходов к решению задач прогнозирования временных рядов

Каждый из подходов к решению задачи прогнозирования требует соответствующей структуры и алгоритма обучения нейронной сети. В большинстве случаев для решения задачи аппроксимации функции применяют алгоритм обратного распространения ошибки [2, 3, 4].

Алгоритм обратного распространения ошибки представляет собой итеративный градиентный алгоритм обучения, который используется с целью минимизации среднеквадратичного отклонения текущего выхода от желаемого выхода многослойной нейронной сети [2]. Обобщенная структура двухслойной нейронной сети для реализации алгоритма обратного распространения ошибки представлена на рис. 1 [5], где ц>пт — весовые коэффициенты связей между нейронами, ОиТт — выходные сигналы нейронов выходного слоя, п — количество нейронов в скрытом слое, т — количество нейронов в выходном слое. Входной слой выполняет только распределительные функции.

Желаемый сигнал

Желаемый сигнал 2

Желаемый сигнал„

Рис.1. Обобщенная структура двухслойной нейронной сети для реализации алгоритма обратного распространения ошибки

Для подхода кластеризации предлагается применять структуру нейронной сети и алгоритм обучения Кохонена, так как данная структура и алгоритм

применяются в основном для кластеризации входных образов [2, 3, 4]. Алгоритм обучения Кохонена также называют алгоритмом конкурентного обучения, а нейронные сети, использующие такой алгоритм — конкурентными. Конкурентные нейронные сети относятся к самоорганизующимся нейронным сетям. Самоорганизующиеся нейронные сети характеризуются обучением без учителя, в результате которого происходит адаптация сети к решаемой задаче. Структура конкурентной нейронной сети в общем случае представляет собой двухслойную нейронную сеть с прямыми связями. Первый слой выполняет распределительные функции, причем каждый нейрон первого слоя имеет связи со всеми нейронами второго слоя, который является выходным. Второй слой осуществляет конкуренцию между нейронами, в результате которой определяется нейрон-победитель. Победителем в конкуренции считается нейрон, который в результате подачи на вход сети определенного входного вектора имеет максимальную взвешенную активность. Для нейрона-победителя весовые коэффициенты усиливаются, а для остальных нейронов не изменяются или уменьшаются. По мере поступления входных векторов посредством обучения происходит разбиение -мерного входного пространства на различные области решений, каждой из которых соответствует отдельный нейрон выходного слоя [2]. Обобщенная структура конкурентной нейронной сети представлена на рисунке 2 [2], где ^!пт — весовые коэффициенты связей между нейронами, ОиТт — выходные сигналы нейронов выходного слоя, п — количество нейронов в распределительном слое, т — количество нейронов в выходном слое.

Входной Выходной

слой слой

Методика выбора рационального подхода к решению задачи прогнозирования с помощью нейронных сетей

В основу предлагаемой методики выбора рационального подхода к решению задачи прогнозирования с помощью нейронных сетей между существующим и предлагаемым подходами положен анализ исходных обучающих данных, известных из условия поставленной задачи.

Пусть у — вектор, размерность которого равна размерности входного вектора, содержащий информацию о минимально возможном расстоянии между подмножествами обучающих входных векторов — классами, и пусть выполнены следующие условия:

1. Подмножества X создают разбиение множества X, для которого верно:

где X — множество обучающих входных векторов; X] — у-ое подмножество обучающих входных векторов — класс;

к — количество подмножеств обучающих входных векторов — классов.

2. В каждом из подмножеств расстояние между наиболее близкими друг к другу соседними обучающими входными векторами — х/ и хр — не превышает у:

где уе Ц, к], к, — количество подмножеств обучающих входных векторов — классов;

Ье Ц, гу], ре Ц, г], I, — количество обучающих входных векторов в у-ом подмножестве обучающих входных векторов — классе; хЬ и хр — наиболее близкие друг к другу соседние обучающие входные вектора у-го подмножества обучающих входных векторов — класса.

3. Расстояние между соседними подмножествами обучающих входных векторов — классов превышает или равно у:

Рис.2. Обобщенная структура конкурентной нейронной сети

где уе [1, к], hе [1, к], у ФЬ, k — количество подмножеств обучающих входных векторов — классов; хр и хгк — соответственно наиболее близкие друг к другу обучающие входные вектора соседних подмножеств обучающих входных векторов — классов;

с1е [1, гу], гу — количество обучающих входных векторов в у-ом подмножестве обучающих входных векторов — классе; ге [1, г,], — количество обучающих входных

векторов в Ь-ом подмножестве обучающих входных векторов — классе.

4. Каждому обучающему входному вектору из у-го подмножества обучающих входных векторов — класса, где уе [1, к] и к — количество подмножеств обучающих входных векторов — классов, соответствует один выходной вектор — у у:

где ме [1, гу], гу — количество обучающих входных векторов в у-ом подмножестве обучающих входных векторов — классе; уе [1, к], к, — количество подмножеств обучающих входных векторов — классов;

— м-ая обучающая входная выборка у-го подмножества обучающих входных векторов — класса.

Тогда, при одновременном выполнении всех приведенных выше условий, все множество обучающих выборок представляется в виде отдельных подмножеств, каждому из которых соответствует определенный выходной вектор. Следовательно, в этом случае, для решения задачи прогнозирования с помощью нейронных сетей целесообразно применять подход кластеризации.

Таким образом, предлагается следующая методика выбора рационального подхода к решению задачи прогнозирования с помощью нейронных сетей, представимая в виде последовательности следующих этапов:

1. Проектировщиком нейронной сети, на основе своих знаний и опыта, задается вектор — вектор, размерность которого равна размерности входного вектора, содержащий информацию о минимально возможном расстоянии между подмножествами обучающих входных векторов — классами.

2. Осуществляется определение подмножеств обучающих входных векторов — классов Xj, создающих разбиение множества обучающих входных векторов X:

2.1. Для рассмотрения выбирается очередной обучающий входной вектор хт, где те [1, г], г — общее количество обучающих входных векторов.

2.2. Для рассмотрения выбирается очередной обучающий входной вектор хд, где де [1, г], г — общее количество обучающих входных векторов, д Ф т.

2.3. Проверяется выполнение условия на принадлежность пары обучающих входных векторов хт и хд к одному подмножеству обучающих входных векторов — классу:

Если условие (9) выполняется, идентификатор подмножества обучающего входного вектора хт определен, кхтФ 0, который вводится для каждого обучающего входного вектора и используется для хранения информации о принадлежности обучающего входного вектора к определенному подмножеству, и идентификатор подмножества обучающего входного вектора хд не определен, кх= 0, то кх= кХт и осуществляется переход к этапу 2.7.

Иначе, если условие (9) выполняется, кхт= 0 и кхФ 0, то кхт= кх и осуществляется переход к этапу 2 .7.

Иначе, если условие (9) выполняется, кхт= 0 и кх = 0, то увеличивается значение счетчика подмножеств к, содержащего информацию о количестве подмножеств обучающих входных векторов, кхт= к, кх= к и осуществляется переход к этапу 2.7.

Иначе, если условие (9) выполняется, кхтФ0, кдф0, то уменьшается значение счетчика подмножеств к и осуществляется переход к этапу 2.4.

2.4. Для рассмотрения выбирается очередной обучающий входной вектор х1, где ?е [1, г], г, — общее количество обучающих входных векторов, или выборок.

2.5. Если кх > кх и кх = кх , то кх = кх.

лт лд М лт 7 М лд

Иначе, если кх > кх и кх > кх , то кх = кх—1.

7 лт лд М лт 7 М М

Иначе, если кх < кх и кх= кх , то кх= кх .

" лт лд М лд ' М лт

Иначе, если кхт< кх и кх> кх , то кх= кх—1.

2.6. Если рассмотрены все обучающие входные вектора хь то осуществляется переход к этапу 2.7. Иначе осуществляется переход к этапу 2.4.

2.7. Если рассмотрены все обучающие входные вектора хд, то осуществляется переход к этапу 2.8. Иначе осуществляется переход к этапу 2.2.

2.8. Если рассмотрены все обучающие входные вектора хт, то осуществляется переход к этапу 3. Иначе осуществляется переход к этапу 2.1.

3. Осуществляется определение возможности применения обучающих входных выборок подмножеств обучающих входных векторов — классов в подходе кластеризации:

3.1. Для рассмотрения выбирается очередное подмножество обучающих входных векторов — класс Xj с номером у'.

3.2. Для рассмотрения выбирается очередная обучающая входная выборка (х, у,).

3.3. Если значение идентификатора подмножества выбранного обучающего входного вектора равен значению номера выбранного подмножества у и данное равенство выполнилось впервые для выбранного подмножества обучающих входных векторов — класса, то уу' = у, где уу' — выходной вектор для у-го подмножества обучающих входных векторов — класса, и устанавливается флаг выбранной обучающей входной выборки (х,, у), показывающий возможность ее применения в подходе кластеризации, / = 1, иначе, если значение идентификатора подмножества выбранного обучающего входного вектора х1 равен значению номера выбранного подмножества у и у1 = у у', то / = 1.

3.4. Если рассмотрены все обучающие входные выборки (х, у), то осуществляется переход к этапу

3.5, иначе — к этапу 3.2.

3.5. Если рассмотрены все подмножества обучающих входных векторов Xj, то осуществляется переход к этапу 3.6, иначе — к этапу 3.1.

3.6. Если все обучающие входные выборки (х, у) имеют возможность применения в подходе кластеризации: / = 1, то для данного вектора у целесообразно применять подход кластеризации, иначе — подход аппроксимации.

Изменяя значения параметров вектора у, проектировщик нейронной сети имеет возможность получать различное количество подмножеств обучающих входных векторов. Чем меньше вектор у, тем большее количество подмножеств обучающих входных векторов можно получить. При выборе подхода кластеризации следует учитывать количество полученных подмножеств обучающих входных векторов, так как чем больше количество подмножеств, тем большим должно быть число выходных параметров проектируемой нейронной сети.

Алгоритм для реализации методики выбора рационального подхода к решению задачи

прогнозирования с помощью нейронных сетей

Для реализации методики выбора рационального подхода к решению задачи прогнозирования с помощью нейронных сетей предлагается следующий алгоритм, который включает в себя следующие шаги:

1. Ввод проектировщиком нейронной сети вектора у — вектора, размерность которого равна размерности входного вектора, содержащего информацию о минимально возможном расстоянии

между подмножествами обучающих входных векторов — классами.

2. Инициализация переменных:

т = 1, д = 1, t = 1, , = 1, у = 1, к = 1, п = 0,

где те [1, г], де [1, г], tе [1, г], ге [1, г], г, — общее количество обучающих входных выборок; у'е [1, к], к, — счетчик, содержащий информацию о количестве подмножеств обучающих входных векторов — классов; п — флаг, устанавливаемый при первом нахождении обучающей входной выборки определенного подмножества обучающих входных векторов.

где ,е [1, г], кх, — идентификатор подмножества обучающего входного вектора, который вводится для каждого обучающего входного вектора и используется для хранения информации о принадлежности обучающего входного вектора определенному подмножеству;

где ,е [1, г],— флаг ,-ой обучающей входной выборки, показывающий возможность ее применения в подходе кластеризации.

3. Выбор очередного обучающего входного вектора хт.

4. Выбор очередного обучающего входного вектора хд.

5. Проверка условия (9). Если условие (9) выпол-

няется, кх Ф 0 и кх = 0, то кх ^ кх и осуществляет" лт лд ‘ лд лт ’

ся переход к шагу 9.

Иначе, если условие (9) выполняется, кхт = 0 и кХ1/ Ф 0, то кт^ кх и осуществляется переход к шагу 9.

Иначе, если условие (9) выполняется, кт = 0 и кх = 0, то к^ к + 1, к~ ^ к, кх ^ к и осуществляет-

Лд у у Лт ~ лд '

ся переход к шагу 9.

Иначе, если условие (9) выполняется, кхСт Ф 0, кдФ 0, то к ^ к—1 и осуществляется переход к шагу 6.

6. Выбор очередного обучающего входного вектора х.

7. Если кх > кх и кх, = к~ , то кх^ кх.

Лт Лд Лt Лт' М Лд

Иначе, если кх > кх и к^, > кх , то кх, ^ кх,—1.

" лт лд М лт~ М М

Иначе, если кх < кх и к^, = кх, то кх^ кх .

" лт лд М лд~ М лт

Иначе, если кт < кхд и кщ > кхд, то кщ<^ кс—1.

8. Если t=z, то осуществляется переход к шагу 9. Иначе t^ t+1 и осуществляется переход к шагу 6.

9. Если д = г, то осуществляется переход к шагу 10. Иначе д ^ д+1 и осуществляется переход к шагу 4.

10. Если т=1, то осуществляется переход к этапу 11.

Иначе т ^ т +1 и осуществляется переход к шагу 3.

11. Выбор очередной обучающей выборки (х, у,).

12. Если кх. = у и п = 0, то п ^ 1, у’ ^ у1 и/ ^1.

Иначе т ^ т+1, если кх. = у', п = 1, у1 = уу, то/ ^1.

13. Если , = г, то осуществляется переход к шагу 14.

Иначе , ^, + 1 и осуществляется переход к шагу 11.

14. Если , = к, то осуществляется переход к шагу 15.

Иначе , ^ 1, п ^ 0, у ^у +1 и осуществляется переход к шагу 11.

15. Если \/1,^ = 1, где г е [1, z\, Z— общее количество обучающих входных выборок, / — флаг обучающей входной выборки, показывающий возможность ее применения в подходе кластеризации, то для данного вектора у целесообразно применять подход кластеризации, иначе — подход аппроксимации.

Алгоритм выбора рационального подхода к решению задачи прогнозирования с помощью нейронных сетей считается завершенным.

Выводы

Предлагаемая в статье методика позволяет осуществить выбор рационального подхода к решению задачи прогнозирования временных рядов с помощью нейронных сетей между существующим подходом аппроксимации и предлагаемым подходом кластеризации, который только косвенно упоминается в области прогнозирования. Выбор рационального подхода позволяет повысить эффективность проектирования и применения нейронных сетей для решения задач прогнозирования временных рядов путем определения на начальном этапе проектирования наиболее подходящей для решения поставленной задачи структуры сети и алгоритма обучения. В основу методики положен анализ исходных обучающих данных, известных из условия поставленной задачи, что позволяет более обоснованно принять решение по выбору подхода к решению задачи прогнозирования временных рядов с помощью нейронных сетей. ■

Литература

1. Данько, Т.П. «Системы искусственного интеллекта в разработке корпоративных маркетинговых стратегий», Журнал «Маркетинг в России и за рубежом», № 5 / Т.П.Данько, М.А.Ходимчук. М.: Финпресс. 2000.

2. Головко, В.А. «Нейронные сети: обучения, организация и применение» / В.А.Головко. М.: ИПРЖР. 2001.

3. Круглов, В.В. «Нечеткая логика и искусственные нейронные сети» / В.В.Круглов, М.И.Дли, Р.Ю.Голунов. М.: ФИЗМАТЛИТ. 2001.

4. Крисилов, В.А. «Представление исходных данных в задачах нейросетевого прогнозирования» / В.А.Крисилов, К.В.Чумичкин, А.В.Кондратюк. Одесса: ОНПУ. 2003.

5. Уоссермен, Ф. «Нейрокомпьютерная техника: теория и практика» / Ф.Уоссермен. Пер. с англ. Ю.А.Зуев, В.А.Точенов. 1992.

^ВМ 978-5-7598-0461-1 296 с.

60x88/16 Переплёт 2007 г.

И.О.Мальцева. С.Ю.Рощин

СЕГРЕГАЦИЯ

И ТРУДОВАЯ МОБИЛЬНОСТЬ

Мальцева И.О., Рощин С.Ю.

ГЕНДЕРНАЯ СЕГРЕГАЦИЯ И ТРУДОВАЯ МОБИЛЬНОСТЬ НА РОССИЙСКОМ РЫНКЕ ТРУДА

Второе издание

В книге рассматриваются особенности положения мужчин и женщин на российском рынке труда, исследуется феномен гендерной сегрегации занятости, начиная с советских времён и до настоящего времени, обсуждаются причины и последствия гендерной сегрегации на рынке труда, проводятся международные сопоставления. На основе данных российской статистики и Российского мониторинга экономического положения и здоровья населения проводятся эмпирические оценки интенсивности и направлений трудовой мобильности по гендерным группам, влияние мобильности на гендерные различия в заработной плате и сегрегацию. Отдельно исследуются вертикальная сегрегация и проблема «стеклянного» потолка в российской экономике.

Для экономистов, социологов, специалистов в области занятости и управления человеческими ресурсами.