CC BY
48
Запорожцев И. Ф., Середа А.-В.И. Использование искусственных нейронных сетей...
УДК 519.688
Использование искусственных нейронных сетей для прогнозирования временной изменчивости пространственного распределения характеристик океанической поверхности
И.Ф. Запорожцев, А.-В.И. Середа
Политехнический институт МГТУ, кафедра высшей математики и программного обеспечения ЭВМ
Аннотация. Предложена и реализована в серии численных экспериментов методика прогноза карт характеристик океанической поверхности (на примере альтиметрии) как многомерного временного ряда, составленного по значениям в узлах регулярной сетки. Методика основана на идее использования многослойного персептрона для задачи прогнозирования.
Abstract. Ocean surface characteristics maps forecasting methodology has been suggested and implemented in a series of numerical experiments (with altimetry samples). Maps dataset has been considered to be a multivariate time series constructed with regularly gridded values. The methodology is based on the idea of multilayer perceptron application to the forecasting problem.
Ключевые слова: прогнозирование многомерных временных рядов, кластеризация, искусственные нейронные сети, аномалии уровенной поверхности океана
Key words: multivariate time series forecasting, clusterization, artificial neural networks, sea level anomalies
1. Введение
Анализ основных океанологических характеристик, таких как солёность воды, температура, аномалии уровенной поверхности океана, направления и интенсивность течений в океане, атмосферное давление, занимает важное место во многих отраслях человеческой деятельности: от теоретических океанологических исследований до прогноза рыбопромысловой обстановки. Развитие в последние десятилетия методов дистанционного (спутникового) зондирования для измерения меняющихся с течением времени характеристик позволило оперативно получать большие массивы данных, которые имеют достаточные для практических нужд периодичность измерения и охват поверхности Земли. Эти данные поступают с различных спутников, каждый из которых имеет собственную траекторию движения. Таким образом, полученная информация есть конечный набор измеренных значений характеристики в отдельных точках заданной акватории, причём эти точки расположены нерегулярно. Методы восстановления значений характеристики в узлах регулярной сетки (Романов, 2004; Гомонов, 2011) не рассматриваются в данной статье. Результат восстановления, т.е. дискретное пространственное распределение, будем именовать картой. Значения в узлах карт, соответствующих последовательным временным отсчётам с фиксированным шагом, образуют многомерный временной ряд.
В качестве объекта исследования может быть выбрана любая характеристика океанической поверхности, т.к. исследуются методы, которые не зависят от природы данных. В работе выполняется численный анализ и прогноз аномалий уровенной поверхности в некоторой пространственно ограниченной акватории океана.
Предмет исследования - изменчивость карт физических характеристик.
Цель работы - предложить методику прогнозирования карты на один временной отсчёт вперёд и выполнить численные эксперименты для конкретного набора данных (карт альтиметрии).
Сформулируем задачи исследования. Предположим, что в моменты времени tj = 1, 2,..., к заданы карты значений некоторой физической характеристики в выбранной прямоугольной области (узлы сетки одинаковы для всех карт). Требуется:
а) выполнить построение и параметрическую идентификацию моделей, используемых для выделения однородных областей внутри карты и прогнозирования карт;
б) осуществить выделение однородных областей внутри одной карты (кластеризация, далее раскраска карты);
в) предложить методику прогнозирования карты с использованием аппарата искусственных нейронных сетей для момента времени tk+1;
708
Вестник МГТУ, том 16, № 4, 2013 г.
стр. 708-714
г) выполнить численные эксперименты для апробации предлагаемых методик кластеризации и прогнозирования.
Новизна работы заключается в применении именно для прогноза карт альтиметрии хорошо известного аппарата нейронных сетей (Аксёнов, 2006; Хайкин, 2006), использованного, в частности, для прогноза значений метеорологических характеристик в узлах нерегулярных сеток (Hung, 2009). Также в данной работе сделана попытка усовершенствования так называемого метода скользящего окна при построении обучающей выборки данных для нейросетевой модели. Проведён анализ эффективности различных модификаций этого метода по результатам численных экспериментов.
2. Обзор методов прогноза пространственно-временного распределения физических характеристик
Существует несколько групп методов для решения задачи прогноза многомерного временного ряда, построенного по пространственно-временному распределению физической величины. Рассмотрим их краткую характеристику, выбирая в качестве объекта исследования аномалии уровенной поверхности океана (альтиметрию). Не теряя общности, можно утверждать, что методы, применимые для данной характеристики, позволяют понять идеи подходов для прогноза любой физической величины (Ашик, 2005; Вербицкая, 2009).
Физико-статистические методы. В основе этих методов лежат физические гипотезы, которые являются результатами систематических наблюдений. Для прогноза уровенной поверхности выбираются предикторы, т.е. факторы, которые оказывают наибольшее влияние на процесс до момента прогноза. Исторически первыми в качестве предикторов были выбраны характеристики ветра: направление, скорость, продолжительность. Прогностический уровень моря или океана с заданной заблаговременностью в простейшем случае представляется линейной функцией предикторов. Коэффициенты такого уравнения регрессии определяются эмпирически и подвергаются коррекции с течением времени и увеличением количества наблюдаемых данных. Уравнения нелинейной регрессии используются до сих пор в качестве дополнительного прогностического средства.
Метод спектральной регрессии. Этот метод является развитием предыдущего. Он позволяет делать более качественный прогноз, т.к. учитывает сложную внутреннюю структуру процессов и определяет связь между элементами в том диапазоне частот, где она наиболее выражена. Коэффициенты уравнения определяются по спектральным характеристикам процессов и представляют собой значения действительной составляющей передаточной функции на частотах с максимальным отношением сигнала к шуму.
Гидродинамические методы. В качестве модели используется система нелинейных дифференциальных уравнений в частных производных (ДУЧП), описывающих движение жидкости. Ограниченность этого подхода связана со значительными трудностями при выборе типов ДУЧП, подбором физически интерпретируемого пространства их параметров, постановкой начальных и граничных условий. В том случае, когда модель всё же построена, её возможности довольно обширны. Например, трёхмерная модель может быть использована не только для определения уровенной поверхности, но и для важных практических задач: анализа переноса тепла, соли, загрязняющих веществ в толще воды; расчёта скорости течения в придонных слоях; воспроизведения эффектов, обусловленных трением. Для получения уровенной поверхности используются численные методы: в заданной области (модели акватории) вводится расчётная сетка, исходные уравнения интегрируются по ячейкам, непрерывные функции заменяются их дискретными аналогами. Таким образом, краевая задача математической физики сводится к системе конечно-разностных уравнений. Данный метод является наиболее распространённым в современной практике гидрометеорологических служб развитых стран мира.
Нейросетевое моделирование. Одним из популярных подходов для решения практических задач анализа и прогноза является использование искусственных нейронных сетей (ИНС). Многие нейросетевые парадигмы имеют эквивалентные статистические модели. Так, многослойный персептрон в некотором смысле является аналогом нелинейной регрессии. Важнейшим вопросом для ИНС является выбор метода обучения (в частности, алгоритма оптимизации), критериев его качества и остановки. При статистическом анализе значительная часть времени расходуется на анализ задачи и выбор модели, а при использовании ИНС - на обучение и параметрическую идентификацию модели (серию экспериментов с заданной архитектурой сети). В том случае, если априорных знаний о зависимостях в данных практически нет, часто используют именно модель ИНС как универсальный аппроксиматор.
3. Методика раскраски карт
При выполнении прогноза значения характеристики в некотором узле карты на один временной отсчёт вперёд важно учитывать не только значения, наблюдаемые в этом узле ранее, но и значения в соседних узлах. Это утверждение имеет вполне понятную физическую интерпретацию: океан есть
709
Запорожцев И. Ф., Середа А.-В.И. Использование искусственных нейронных сетей...
динамическая система и всякое возмущение носит непрерывный характер, то есть, говоря о карте, передаётся от одного узла к другому, ослабляясь или усиливаясь. Представляет интерес выделение в карте связных областей, в рамках которых значения характеристики как реакции на некоторое воздействие близки друг другу. Рассматривая отдельные узлы, есть вероятность столкнуться со значительными трудностями в определении узлов с близкими значениями, которые можно объединить в одну группу (кластер). Гораздо проще устанавливать степень сходства для векторов, чем для скаляров. Разумным представляется покрытие карты ещё одной сеткой с большим шагом, чем исходная. Так, если выбрать шаг, равный трём, то раскраска карты суть задача кластеризации множества точек в евклидовом пространстве размерности 9.
По одной из классификационных категорий существующие методы кластеризации можно разделить на детерминированные и стохастические. Зачастую методы второго типа используют идеи, положенные в основу первых, обладающих явными недостатками в виде, например привязки к заранее заданному числу кластеров и начальным центрам этих кластеров - некоторым векторам из того множества, для которого и применяется кластеризация. Как и для методов оптимизации, результаты итерационного процесса существенно зависят от выбора начальной точки. Стохастические методы позволяют частично снять эту проблему, но могут требовать больше итераций. Так, идея популярного метода К-средних была реализована в самоорганизующихся картах (нейронных сетях) Кохонена, развита в растущих самоорганизующихся картах и, наконец, растущих иерархических самоорганизующихся картах (Rauber, 2011). При выполнении численных экспериментов в данной работе используется растущая самоорганизующаяся карта, которая уже применялась исследователями для альтиметрии (Ultsch, 2006).
4. Методика прогнозирования
Рассмотрим пять методов прогноза с использованием нейросетевой модели MLP (Хайкин, 2006). В работе используется наиболее распространённый вариант MLP - однородный двухслойный персептрон с функцией активации вида y(x) = AthBx. Обучение MLP выполняется в соответствии с методом Левенберга - Марквардта (Souza, 2010). Карта, т.е. значения в узлах сетки размером (a*b), построенная для момента времени к = 1,...,K, представлена вектором uk = (u\i; ...; ukab).
Поставим в соответствие каждому узлу карты (i,j) MLP одной и той же структуры: v-h-1, v -размерность вектора обучающей выборки (число входных нейронов), где h - число скрытых нейронов (параметр модели, требующий настройки), а последняя единица означает, что выходной нейрон всего один - прогнозируемое значение. Обучающая выборка строится по принципу скользящего окна. Она состоит из пар (x(lj), d"4-1), где x(l,j) - обучающий вектор, составленный из значений в этом узле для p последовательно взятых карт, причём компоненты следующего вектора формируются из последовательно взятых значений временного ряда для узла (i,j) со сдвигом на единицу по оси времени. Второй параметр, обозначенный d"lj), есть эталонное значение (по сути - прогноз), сравниваемое со значением функции MLP, которая строит уравнение нелинейной множественной регрессии, а регрессорами выступают компоненты соответствующего обучающего вектора x(l,j). Так, значение в узле ukip будет эталонным значением для обучающего вектора с номером (k-p) и первой компонентой обучающего вектора с номером к (рис. 1).
Рис. 1. Построение векторов обучающей выборки по принципу скользящего окна
710
Вестник МГТУ, том 16, № 4, 2013 г.
стр. 708-714
Таким образом, реализован самый простой вариант прогноза, количество нейронов во входном слое MLP равно p (v = p).
Последующие методы прогноза являются развитием первого подхода. Второй метод предполагает (p+4) входных нейрона - k-тый обучающий вектор имеет вид:
Х(ВД =
(xi
(k,i,j)
(k,i,j)
Л-p
Y (k,i-1j)
xp .
r (k,i+i,j)
xp .
r (k,i,j-1)
xp .
r (k,i,j+1)
xp
),
т.е. обучающий вектор дополнен значениями в соседних с (i,j) узлах карты, которая предшествует прогнозируемой. В случае, когда таковых соседей нет (на границе прямоугольной области карты), недостающие компоненты заполняются средним арифметическим тех из последних 5 компонент, значения которых определены.
Третий метод прогноза использует обучающий вектор следующего вида:
Х
(k,ij) = (x (Wj)
, x/k’lj), m/’1J>
последняя компонента которого рассчитывается как среднее арифметическое m значение в 4 соседних с (ij) узлах карты. При отсутствии некоторых соседей вычисляем среднее арифметическое значение для существующих. Использование индекса p указывает на то, что значение последней компоненты вектора - значение в узле карты, которая является последней картой, необходимой для формирования k-го вектора обучения.
Два последних метода требуют выполнения кластеризации - раскраски карты. Предположим, что существует натуральное число q, которое является делителем размерностей сетки, т.е. чисел а и b. Тогда прямоугольная область покрывается новой сеткой с ячейкой размером (qxq). Множество Х, которое следует кластеризовать, образовано векторами размерности q2, а их компонентами являются значения в узлах исходной сетки. Обучающий вектор четвёртого метода имеет (p+1) компоненту:
x(k,j =
(xi
(k,i,j)
(k,i,j)
xp
rp
(k,i,j)
),
где rp(k,1J) - локальный радиус однородной области.
Локальный радиус есть наименьшее число ближайших соседей узла (ij) по 4 направлениям, которые относятся к тому же кластеру, что и узел (ij) (на рисунке элементы кластеров одинаково окрашены). Узлы (в частности, на границе области) могут иметь нулевое значение локального радиуса. Пример нахождения локального радиуса приведён на рис. 2.
Рис. 2. Пример определения локального радиуса
Пятый метод, как и предыдущий, имеет (p+1) компоненту:
v(k,ij) = r (k,j r(k,ij) - (kj
x (x1 , • • ^ xp , x p ).
Последняя - среднее взвешенное значение в узлах, которые ограничивают однородную область в окрестности (ij) по 4 направлениям. Если какие-то из этих узлов отсутствуют, то используется значение в узле (ij). Особенности метода - на рис. 3.
Введём численный критерий качества прогноза (*), который можно использовать для сравнения рассмотренных выше методов:
Q = 1000(55 + 0,5510 + 0,25520 - 2(100 - s40))/175, (*)
где Si - доля узлов карты (в процентах), относительная ошибка прогноза в которых не превышает i %. Из формулы следует, что значение критерия качества не превосходит 1000. Чем больше значение этого критерия, тем более эффективным оказался прогноз.
711
Запорожцев И. Ф., Середа А.-В.И. Использование искусственных нейронных сетей...
Рис. 3. Особенности пятого метода кластеризации
5. Описание и результаты численных экспериментов
Для проведения численных экспериментов было разработано специализированное программное средство, обеспечивающее обработку исходных данных, получение и представление результатов в виде изображений и таблиц и реализацию методов кластеризации и прогноза, которые обсуждались в теоретической части статьи. Исходными данными являются карты альтиметрии для акватории с физическими размерами: 72° с.ш. - 74°с.ш., 43° в.д. - 49° в.д., 205 км х 225 км. Время: 8 августа 2011 г. -7 февраля 2012 г., ежедневные данные (184 карты). Размер сетки: (18 х 18) узлов. Источник данных -серверы международного проекта AVISO (http://www.aviso.oceanobs.com/en/home/index.html).
Выберем несколько тестовых карт (31.12.2011, 01.01.2012, 02.01.2012, 03.01.2012 и 04.01.2012), для которых выполним прогноз каждым из пяти методов.
Определим, какие из методов позволяют получить наилучшие результаты прогноза в смысле критерия (*). Выбор наилучшего метода прогноза есть задача дискретной оптимизации - поиска максимума критерия качества. Для каждой пары (метод, дата) выполним 15 экспериментов: пять вариантов количества нейронов скрытого слоя MLP (h = 2v+Ah), а также три варианта числа предыдущих значений в узле, которые попадают в один обучающий вектор для прогноза, следующего по времени значения в этом же узле npr = 2,3,4. Подробный отчёт о результатах этих экспериментов был оформлен в виде таблиц (табл. 1) для каждой даты со следующими столбцами: номер методам, npr, h, время расчётов Т (в секундах), значения sb ie {5,10,20,40} и значение критерия Q.
Таблица 1. Пример таблицы результатов (первый метод, 31.12.2011)
№ M npr h t V s10 s20 S40 Q
1 1 2 4 10 5 16 58 99 145
2 1 2 5 12 6 16 58 99 151
3 1 2 6 15 6 17 58 99 154
4 1 2 7 18 6 16 58 98 140
5 1 2 8 20 5 17 58 99 148
6 1 3 6 17 14 28 61 99 235
7 1 3 7 21 16 29 58 100 257
8 1 3 8 24 17 32 64 100 280
9 1 3 9 30 17 32 66 100 282
10 1 3 10 35 18 33 64 99 277
11 1 4 8 30 22 33 66 97 280
12 1 4 9 39 24 38 66 99 328
13 1 4 10 40 23 36 68 98 308
14 1 4 11 46 28 41 67 97 338
15 1 4 12 53 28 41 70 98 354
Обобщим результаты экспериментов в виде одной таблицы (табл. 2). Жёлтым цветом выделены строки таблиц, содержащие данные о тех вариантах параметров каждого метода, которые оказались наилучшими в смысле критерия качества Q. Результаты этих методов вынесены в табл. 2. Выберем два из пяти методов для каждой прогнозируемой карты, для которых значение критерия качества больше,
712
Вестник МГТУ, том 16, № 4, 2013 г.
стр. 708-714
чем для остальных. Ячейки таблицы, содержащие сведения о результатах метода, показавшего наилучший результат, окрашены в жёлтый цвет. В ячейках зелёного цвета содержатся результаты второго из выбранных методов.
Как видно из табл. 2, ни один из предложенных методов прогноза не доставляет максимум критерия качества для всех карт выборки. При этом первый метод оказался наиболее эффективным для прогноза трёх карт. Основным недостатком второго метода является значительное время расчётов вследствие большей по сравнению с другими размерности векторов обучающей выборки. Результаты четвёртого метода существенно хуже результатов остальных.
Таким образом, можно сделать следующие выводы:
а) второй и четвёртый способы прогноза можно исключить из дальнейшего анализа;
б) первый метод, несмотря на свою идейную простоту и наименьшее количество операций с данными, является наилучшим в смысле выбранного критерия качества;
в) количество предыдущих значений в узле, используемых для прогноза, оказалось одинаковым для всех методов, но не является постоянным и зависит от прогнозируемой карты.
Таблица 2. Сводная таблица результатов экспериментов
Метод \ Дата 31.12.2011 01.01.2012 02.01.2012 03.01.2012 04.01.2012
1 4 2 4 2 3
T 53 10 54 18 25
S5 28 54 62 62 65
Q 354 657 747 721 794
2 4 3 3 2 3
T 241 198 138 129 201
S5 23 48 54 63 62
Q 320 628 697 758 774
3 4 2 4 2 3
T 77 18 65 18 55
S5 30 47 62 62 59
Q 377 615 744 735 757
4 4 2 4 2 3
T 90 19 67 27 33
S5 23 50 55 58 61
Q 305 632 690 685 760
5 4 2 4 2 3
T 90 20 67 23 58
S5 29 51 53 54 59
Q 365 640 658 658 728
6. Заключение
В работе проведён теоретический и экспериментальный анализ возможности использования аппарата искусственных нейронных сетей для прогноза карт альтиметрии. Рассмотренные методы не зависят от природы данных, потому могут быть использованы для различных характеристик океанической поверхности, таких как солёность, температура, биопродуктивность, скорость ветра вблизи водной поверхности и т.д.
В качестве базового метода прогноза выбрана процедура обобщения (экстраполяции) данных в рамках модели многослойного персептрона (MLP). Обучение этой нейронной сети строится по принципу скользящего окна, т.е. происходит выборка последовательных значений из одного временного ряда. Предложены 4 модификации этого базового метода, которые используют информацию из нескольких временных рядов для прогноза значений в каждом узле карты. В качестве вспомогательной подзадачи, необходимой для двух из пяти методов прогноза, выполнено разбиение карты на однородные области (раскраска карт).
Результаты серии экспериментов показали, что предложенные модификации базового метода скользящего окна не приводят к существенным улучшениям качества прогноза в смысле выбранного критерия. Тем не менее, базовый метод не оказался лучшим для всех тестовых карт. Две модификации из четырёх могут быть признаны достаточно эффективными и перспективными для дальнейшей теоретической и экспериментальной проработки.
713
Запорожцев И. Ф., Середа А.-В.И. Использование искусственных нейронных сетей...
Литература
Hung N.Q. An artificial neural network model for rainfall forecasting in Bangkok, Thailand. 2009. URL: http://www.hydrol-earth-syst-sci.net/13/1413/2009/hess-13-1413-2009.pdf.
Rauber A. The growing hierarchical self-organizing map. 2011. URL: http://www.ifs.tuwien.ac.at/~andi/ghsom/.
Souza C. Neural network learning by the Levenberg-Marquardt algorithm with Bayesian regularization. 2010. URL: http://crsouza.blogspot.com/2009 /11/neural-network-learning-by-levenberg_18.html.
Ultsch A. Self-organizing feature maps predicting sea levels. 2006. URL: http://www.informatik.uni-marburg.de/databionics/papers/ultsch02self.pdf.
Аксёнов С.В. Организация и использование нейронных сетей (методы и технологии). Под общ. ред. В.Б. Новосельцева. Томск, изд-во НТЛ, 128 с., 2006.
Ашик И.М. Численный гидродинамический метод прогноза колебаний уровня в юго-восточной части Баренцева и юго-западной части Карского морей. 2005. URL: http://method.hydromet.ru/ publ/sb/sb31/sb31.html.
Вербицкая О.Н. Гидродинамический метод прогноза синоптических колебаний уровня и течений Каспийского моря. Электрон. ресурс. Дис. ... канд. физ.-мат. наук, МГОУНБ, Диссертации, 175 с., 2009.
Гомонов А.Д. Математическое моделирование уровенной поверхности океана по спутниковым данным на основе двумерной B-сплайн аппроксимации. Электрон. ресурс. Автореферат дис. ... канд. техн. наук. URL: http://www.eltech.ru/assets/files/nauka/dissertacii/2011/Aftoreferat-Gomonov.pdf., 18 с., 2011.
Романов А.А. Методика восстановления карт аномалий морской поверхности методом Dm-сплайнов. Исследовано в России, № 42, c. 454-463, 2004.
Хайкин С. Нейронные сети: полный курс. М., Вильямс, 1104 с., 2006.
714
