CC BY
118
НЕЙРОННАЯ СЕТЬ КАК ПРЕДСКАЗАТЕЛЬ ДИНАМИКИ ДИСКРЕТНОГО ОТОБРАЖЕНИЯ
А. В. Шабунин
Саратовский государственный университет
В статье рассматривается работа искусственной нейронной сети прямого распространения в качестве фильтра-предсказателя регулярной и хаотической динамики отображения последования. Для расчета коэффициентов сети используется метод обратного распространения ошибки. Показано, что возможность нейронной сети предсказывать временную динамику логистического отображения определяется числом ее слоев. Однослойная сеть дает точный прогноз для регулярных колебаний и многоленточных хаотических аттракторов, двухслойная сеть способна предсказывать динамику во всем диапазоне, за исключением области развитого хаоса, характеризуемого большими значениями показателя Ляпунова, трехслойной сети достаточно для работы во всем диапазоне изменения управляющего параметра. Показано, что ошибка сети по многошаговому предсказанию демонстрирует эффект насыщения.
Ключевые слова: Нейронные сети, динамический хаос, обработка сигналов.
Введение
Идентификация систем по экспериментальным данным - классическая задача математической статистики, цифровой обработки сигналов и теории автоматического управления, берущая свое начало с аппроксимации данных детерминированными функциями и регрессионного анализа. С 80-х годов XX века эта проблема начинает интенсивно исследоваться и в нелинейной динамике, где она получила название реконструкция динамических систем. В 1980 г. в работе Н. Паккарда и др. [1] была экспериментально показана возможность восстановления фазового портрета по скалярному временному ряду, а чуть позже - в работе Ф. Такенса [2] доказана теорема, обосновывающая этот результат. Теорема Такенса дала толчок многочисленным исследованиям по предсказанию поведения систем [3-5], определению характеристик аттракторов по скалярному временному ряду [6], построению уравнений динамической системы по ее временной реализации [7, 8], оцениванию параметров динамических систем [9-11], выявлению связей между колебательными системами [12-14]. В дальнейшем задачи реконструкции нашли применение во множестве прикладных исследований, таких как медицинская диагностика [15, 16], защищенная
передача информации [17, 18], классификация динамических режимов [19], выявление причинно-следственных связей между наблюдаемыми природными и климатическими явлениями [20, 21] и др.
Одним из практически значимых применений методов идентификации систем является прогнозирование динамики неизвестной системы по сгенерированному ею временному ряду. В этой области исследований наряду с методами реконструкции динамических систем используются традиционные подходы, основанные на алгоритмах адаптивной фильтрации [22-24], к которым можно отнести и интенсивно исследуемые в последнее время искусственные нейронные сети [25-29]. Элементарной ячейкой таких сетей является искусственный нейрон - упрощенная математическая модель реальной нейронной клетки.
Нейронные сети используются для различных целей, таких как распознавание образов и сигналов [30-35], предсказание динамики и оценка параметров систем [36], адаптивная фильтрация сигналов [37, 38], сжатие и обработка данных [39, 40] и т.п.
Одно из возможных применений для нейронной сети - предсказание дальнейшего поведения неизвестной системы по ранее сгенерированному ею сигналу [41-43]. Подобные устройства называются фильтрами-предсказателями. Фильтры-предсказатели активно используются в радиотехнике и обработке сигналов для корректировки частотных характеристик каналов связи, для динамического сжатия данных, подавления помех и других целей. Обычно такие устройства создаются на базе линейных адаптивных фильтров [24]. Однако линейный характер фильтров не позволяет совершенствовать их свойства посредством объединения в более сложные структуры. В случае, если линейный фильтр не дает нужного качества предсказания можно использовать нелинейную фильтрацию с помощью нейронных сетей. В таких сетях нужного эффекта можно добиться посредством наращивания числа слоев сетевой структуры.
Способность нейронной сети к предсказанию временного ряда применима и для анализа поведения динамических систем, что было отмечено в ряде работ [41-43]. В этих работах была показана принципиальная возможность многослойной сети предсказывать хаотические последовательности и дискретные выборки хаотических траекторий, сгенерированные различными хаотическими системами, как с дискретным, так и с непрерывным временем. В то же время недостаточно исследованным остался вопрос о том, насколько выбор структуры сети и ее параметров влияет на точность работы предсказателя, как эта точность соотносится с мерой хаотичности колебаний. В связи с этим представляется интересным провести детальный анализ способности нейронной сети к предсказанию временного ряда динамической системы в широком диапазоне значений параметров последней, в зависимости от сложности формы ее колебаний, а также проанализировать влияние на точность предсказания характеристик самого фильтра, таких как: число слоев, их размерность и величина скорости адаптации сети.
В настоящей работе рассматривается предсказание динамики логистического отображения при разных режимах его работы: от периодических колебаний до режима развитого некогерентного хаоса. Анализируется взаимосвязь точности предсказания и величины характеристического показателя Ляпунова, влияние на эту точность параметров сети, а также способность к предсказанию на более длительных временах.
1. Нейронная сеть прямого распространения
Искусственный нейрон - нелинейный N х 1)-многополюсник, преобразующий взвешенную сумму N сигналов на его входных портах в значение сигнала на его выходном порту,
Г = / (БТ • X • (1)
Здесь У - скалярный сигнал на выходе нейрона; X = [Х^Х^ •••Хм]Т и Б = = [В1, В2, •••, В N ]Т - N-мерные вектора входного сигнала и весовых коэффициентов (синаптических весов) нейрона, соответственно; точкой обозначена операция матричного произведения, а знаком Т - матричного транспонирования; / - нелинейная скалярная функция. Нейрон является адаптивной системой, свойства которой определяются значениями коэффициентов В¿, которые задаются в ходе процедуры настройки (обучения). Существующее множество методов обучения можно разделить на два больших класса: обучение с учителем и обучение без учителя; существуют также и комбинированные методы [28].
Нейроны одинаковой размерности можно объединить друг с другом в нейронный слой (или персептрон), параллельно подключив их входные порты таким образом, чтобы один и тот же вектор X оказался входным сигналом каждого из них. При этом скалярные выходные сигналы М нейронов слоя объединяются в единый векторный выходной сигнал V = [У1, У2, •••,Ум]Т, а уравнение (1) обобщается в уравнение для персептрона
У = {(ЬТ • X , (2)
где Ь = [Б1, Б2, •••, Бм] - N х М матрица синаптических весов слоя, составленная из М столбцов Ж-мерных векторов синаптических весов отдельных нейронов; {(х) = [/(х1), /(х2), •••, /(хм)]Т - векторная функция, обобщающая скалярную функцию в формуле (1).
Таким образом, каждый нейронный слой есть цифровой N х М многополюсник, преобразующий N-мерный вектор входного сигнала в М-мерный вектор выходного сигнала (рис. 1, a). Подобные многополюсники могут быть соединены каскадно таким образом, чтобы выход первого слоя соединялся со входом второго и т.д. Каскадное соединение нейронных слоев называется нейронной сетью прямого распространения. Структура двухслойной нейронной сети 3 х 2 х 4 показана на рис. 1, б. Как было показано в ряде работ (см., например, [28]), многослойная нейронная сеть может обладать существенно более широкими возможностями, чем составляющие ее нейронные слои. В этом принципиальное отличие нейронных сетей от адаптивных фильтров, которые вследствие линейности не приобретают новых свойств при объединении в структуры.
X
7 Х(1)
7(1) Х(2)
7(2)
а б
Рис. 1. Схема нейронного слоя (а) и двухслойной нейронной сети (б)
В данной работе будет использоваться нейронная сеть прямого распространения, созданная на базе функции гиперболического тангенса
f (х) = tanh(х),
которая стягивает вещественную ось в интервал ]—1 : 1[. Обучение сети производится в соответствии с алгоритмом обучения с учителем, с использованием итерационного алгоритма наискорейшего спуска. Суть метода заключается в следующем.
1. Для каждого нейронного слоя формируется набор из п обучающих пар, каждая из которых, в свою очередь, состоит из вектора входного сигнала Хг и желаемого (целевого) значения вектора выходного сигнала Ю (г = 1,2,..., п).
2. Для каждой из обучающих пар рассчитывается вектор ошибки Ег, представляющий собой разность между выходным вектором слоя и целевым вектором: Ег = ~Уг — Юг.
3. Из полученных векторов ошибок строится неотрицательная целевая функция Ф(Ь), равная сумме квадратов ошибок на всем обучающем множестве: Ф(Ь) = Е2. Задачей процесса обучения является подбор коэффициентов матрицы Ь, приводящий функцию Ф(Ь) к минимуму.
4. Для достижения минимума организуется последовательный итерационный процесс, называющийся методом наискорейшего спуска. Он заключается в том, что изменение коэффициентов матрицы на каждом шаге выбирается противоположным по направлению к градиенту целевой функции УФ(Ь)
АЬг = — цЧФ(Ь),
где АЬг - подстройка синаптических весов слоя по одной обучающей паре;
П > 0 - константа, определяющая скорость обучения. В рассматриваемом слу-
/ч ! Т
чае: АЬг = —пХг (г (Тг) о Ег) , где знак «о» означает покоординатное умножение векторов или матриц.
Указанная процедура обучения возможна как для последнего слоя нейронной сети, так и для промежуточных слоев. В последнем случае, для определения векторов ошибок используется метод обратного распространения ошибки [28,44].
2. Исследуемая система
Выберем в качестве исследуемой системы логистическое отображение, задаваемое уравнением
х(п + 1) = а — х2(п), (3)
где х - динамическая переменная, п = 0,1, 2, 3,... - дискретное время (номер итерации), а а € [0 : 2[ - параметр. Отображение (3) является одной из базовых моделей нелинейной динамики, поведение которой хорошо известно. В частности, в зависимости от значения а оно может демонстрировать: неподвижную точку (периодические колебания) с периодом один; колебания с периодом 2к (к = 1, 2, 3,...); слабый (когерентный) хаос в виде многоленточных хаотических аттракторов; развитый некогерентный хаос. Мерой хаотичности колебаний логистического отображения может
служить характеристический показатель Ляпунова, который для системы (3) легко рассчитывается по формуле
Л(а) = 1п \2х(и)\,
где черта сверху означает усреднение по времени. В данной работе сигнал, генерируемый отображением, будет использоваться как входной сигнал для нейронной сети.
3. Предсказание динамики отображения посредством однослойной нейронной сети
Рассмотрим работу однослойной сети в качестве фильтра-предсказателя. Фильтр-предсказатель - цифровой N х 1 многополюсник, который по N предыдущим отсчетам сигнала, генерируемого рассматриваемой системой, предсказывает следующее значение этого сигнала. Таким образом, для текущего (и-го) момента дискретного времени входным сигналом нейронного слоя будет N предыдущих значений временной реализации последовательности (3): Х(п) = [х(и- 1),х(и-2), ...,х(и-а целевым (предсказываемым) значением - текущее значение этой динамической переменной: В(и) = х(и). Точность предсказания можно оценить по величине среднеквадратичного отклонения (СКО) сигнала ошибки
\Je2(n) - E2(n).
(4)
Прежде чем анализировать работу сети в качестве предсказателя, необходимо подобрать ее параметры п и N с тем, чтобы минимизировать ошибку предсказания. Выбор этих параметров может оказывать существенное влияние на работу фильтра. Чтобы оценить это влияние, были проведены исследования зависимости средней точности предсказания о от п и N для разных видов хаотических колебаний. Все они оказались качественно подобны друг другу. На рис. 2, а и 2, б построены соответствующие графики для двух режимов: четырехленточного аттрактора (кривая ¡\) и режима развитого одноленточного хаоса (кривая 12).
Из анализа графиков видно, что для обоих режимов наиболее благоприятная величина скорости обучения находится в интервале от п = 0.05 до п = 1. В этом слу-
Рис. 2. Зависимость среднеквадратичной ошибки о: а - от скорости обучения п для однослойной сети в режиме четырехленточного аттрактора при а = 1.42 (11) и в режиме развитого хаоса при а = 1.7 (12); б - от длины входной выборки сигнала N при тех же значениях параметра а
а
чае, конкретное значение указанного параметра почти не влияет на точность предсказания фильтра. Из анализа рис. 2, б следует, что оптимальное значение длительности выборки входного сигнала N находится в пределах от N ~ 10 до N ~ 70. Более короткие, чем N = 10, выборки входного сигнала оказываются недостаточными для настройки фильтра, а более длинные, чем N = 70, по-видимому, приводят к эффекту насыщения, когда значения функции 1апИ становятся близкими к единице. В результате проведенного анализа для создания фильтра были выбраны параметры: П = 0.5 и N = 40, которые и будут использоваться в ходе дальнейших исследований.
Рассмотрим работу фильтра-предсказателя на примере регулярного и хаотического поведения отображения. В качестве временных реализаций будем использовать установившиеся колебания отображения (3) при заданном а.
На рис. 3, а представлен вид сигнала ошибки Е(п) фильтра-предсказателя для а = 1.36, что соответствует периодическим колебаниям с периодом N = 4. Видно, что в работе фильтра присутствует длительный переходный процесс за время которого фильтр обучается. По его окончании величина ошибки для периодических колебаний практически сходит к нулю. При этом динамика обученного фильтра становится почти идентична установившейся динамике исходной системы, что видно из рис. 3, б. На рисунке построен фазовый портрет колебаний отображения в переменных х(п), х(п + 1) (значками «о»), а также соответствующий фазовый портрет сигнала с выхода фильтра (значками «х»). Оба изображения практически совпадают друг с другом. Как показывают исследования, подобное поведение характерно для любых периодических режимов отображения (3).
При переходе к хаотическим колебаниям способность к предсказанию однослойной сети существенно ухудшается, а величина ошибки соответственно растет по мере развития хаоса. Данный процесс проиллюстрирован на рис. 4. Так, при а = 1.42 в системе (3) реализуется четырехленточный хаотический аттрактор, который достаточно хорошо аппроксимируется сигналом с нейронной сети (рис. 4, а). При переходе к двухленточному аттрактору, как это видно из рис. 4, б, значения, полученные от фильтра-предсказателя, образуют две области, накрывающие одномерные сегменты аттрактора. Однако одномерный характер сигнала, как это видно из рисунка, нарушается - сигнал на выходе сети становится многомерным и не вполне точно соответствует исходным значениям. Еще менее точно сеть может предсказывать динамику отображения в режиме одноленточного (рис. 4, в) и развитого одно-ленточного (рис. 4, г) хаотических аттракторов. В последнем случае точки, соответ-
0
100 200 300 400
-0.4 0 0.4 0.8 1.2 1.6 х(и)
а о
Рис. 3. Работа фильтра-предсказателя на основе однослойной сети для режима периода четыре (а = 1.36): а - сигнал ошибки Е(п) и б - фазовый портрет в проекции (х(п), х(п + 1) )
1.8 х(п)
Рис. 4. Работа однослойной сети в качестве фильтра-предсказателя хаотических сигналов: а - в режиме четырехленточного аттрактора при а = 1.42; б - в режиме двухленточного аттрактора при а = 1.52; в - в режиме одноленточного аттрактора при а =1.56; г - в режиме развитого одноленточного хаоса при а = 1.7
Рис. 5. Зависимость СКО ошибки предсказания фильтра о и характеристического показателя Ляпунова Л от параметра а: 11 - СКО для однослойной сети 40 х 1; 12 - СКО для двухслойной сети 40 х 10 х 1; 13 - СКО для трехслойной сети 40 х 10 х 5 х 1
ствующие сигналу фильтра-предсказателя, более или менее равномерно накрывают всю область аттрактора.
Полученные иллюстрации работы нейронной сети по предсказанию регулярной и хаотической динамики подтверждаются зависимостью интенсивности сигнала ошибки о от значений параметра а, построенной в широком интервале значений последнего, то есть для всевозможных режимов функционирования отображения (3). График такой зависимости приведен на рис. 5 (кривая ¿1). Для сопоставления, на том же рисунке построен график зависимости показателя Ляпунова, показанный на рис. 5 пунктиром (кривая Л). Как известно, области с отрицательным Л соответствуют периодическим колебаниям отображения (3), а области с положительным Л -хаотическим колебаниям. Сопоставление графиков позволяет заключить, что:
• в областях регулярной динамики однослойная сеть демонстрирует точное предсказание колебаний отображения (3);
• в областях хаотической динамики сеть демонстрирует частичное предсказание;
• точность предсказания хаотических колебаний определяется значением показателя Ляпунова - рост показателя ведет к росту ошибки предсказания.
4. Фильтр-предсказатель на основе многослойной сети
В разделе 3 была отмечена малая точность предсказания однослойной сетью хаотической динамики логистического отображения, особенно в случае развитого хаоса, а также быстрое ухудшение этой точности с ростом показателя Ляпунова. Посмотрим, нельзя ли улучшить работу фильтра-предсказателя за счет усложнения структуры сети. Для этого перейдем от однослойной сети к двухслойной. Выберем размерность входного вектора первого слоя, как и для однослойной сети: N1 = 40. Для подбора размерности промежуточного слоя N2 были проведены исследование влияния этого параметра на величину среднеквадратичного отклонения ошибки предсказания в режиме хаоса при разных значениях а. Исследования показали, что зависимость ошибки предсказания двухслойной сети сначала быстро уменьшается, при увеличении N2 от 1 до 5, а затем остается почти постоянной в широких пределах изменения размерности слоя. Типичные зависимости о( Д^) построены на рис. 6 для режимов одно-ленточного хаоса при а = 1.7 (кривая ¿1) и развитого одноленточного аттрактора при а = 1.9 (кривая ¿2).
Как следует из рисунка, наиболее подходящим значением размерности промежуточного слоя является N2 > 5. Исходя из этого для дальнейших исследований был выбран двухслойный фильтр с размерностями слоев 40х10х1.
Рассмотрим работу двухслойной сети при разных значениях параметра а. Анализ показывает, что в случае многоленточного хаоса использование второго слоя незначительно улучшает точ-
0.4 -0.3 0.2 0.1 0
............................
5 15 25 35 45 55 65 Ж,
Рис. 6. Зависимость величины среднеквадратичного отклонения ошибки сети от размерности промежуточных слоев: ¡1 - для одноленточного хаоса при а = 1.7, ¡2 - для развитого одноленточного хаоса при а = 1.9
ность предсказания (которая и так достаточно высока в этом случае). Для сравнения сопоставим диаграммы на рис. 4, а и 7, а. Иное дело - работа сети в режиме двухлен-точного и, особенно, одноленточного хаоса. Как следует из рис. 7, б и рис. 4, в, в этом случае добавление второго слоя приводит к существенному повышению точности предсказания. Это особенно заметно при сопоставлении рис. 4, в и 7, в. Более того, в области одноленточного хаоса в широком диапазоне значений параметра а наблюдается примерно одинаковая точность предсказания динамики отображения, несмотря на то, что показатель Ляпунова растет и, следовательно, хаотический характер колебаний усиливается. Для иллюстрации этого факта на том же рис. 5 построен график зависимости среднеквадратичного отклонения ошибки о (а) для двухслойного фильтра (кривая ¡2). Сопоставление с аналогичной зависимостью 1\ позволяет заключить, что:
• добавление следующего слоя к однослойной сети улучшает работу сети в режиме хаотических колебаний;
• наиболее существенное уменьшение величины ошибок предсказания (в несколько раз) наблюдается в области развитого хаоса;
• в двухслойной сети, в отличие от однослойной, исчезает прямая корреляция между величиной показателя Ляпунова и интенсивностью ошибок. В ряде диапазонов параметра а отмечается стабилизация величины ошибки предсказания при росте показателя Ляпунова;
• значительное ухудшение точности предсказания двухслойной сетью наблюдается лишь в области сильно развитого, некогерентного хаоса, при а > 1.78.
х(/7+1) 2.0 1.6 1.2 0.8 0.4 0
-0.4
-0.8
-1.2
-1.2 -0.6 0 0.6 1.2 1.8 х(п) ^ -1.2 -0.6 0 0.6 1.2 1.8 х(п) а О
Рис. 7. Работа двухслойной сети в качестве фильтра-предсказателя хаотических сигналов: а - в режиме четырехленточного аттрактора при а = 1.42; б - в режиме двухленточного аттрактора при а = 1.52; в - в режиме одноленточного аттрактора при а = 1.7; г - в режиме развитого одноленточного хаоса при а = 1.9
Рассмотрим, как изменятся свойства фильтра-предсказателя при добавлении третьего слоя сети. Зависимость точности предсказания от а приведена на том же рис. 5 (кривая ¿3). Как следует из графика, дальнейшее наращивание числа слоев нейронной сети приводит к существенному улучшению ее работы только для больших а - в случае режима некогерентного хаоса. Это подтверждается также и видом фазового портрета для а = 1.9, приведенного на рис. 7, г значками «о». Для остальных режимов, при а < 1.78, точность предсказания увеличивается всего на несколько процентов, что не оправдывает усложнение структуры и соответствующее замедление работы фильтра. Таким образом, в широкой области значений параметров двухслойная конфигурация сети оказывается оптимальной для построения фильтра-предсказателя динамики одномерного хаотического отображения, и лишь для режимов крайне развитого хаоса необходимо переходить к использованию трехслойной сети.
5. Предсказание динамики отображения на более длительных временах
Рассмотрим работу двухслойной и трехслойной сетей для предсказания колебаний отображения (3) на более длительных временах. Пусть нам необходимо по N предыдущим значениям временной реализации х(п) получить Ь (Ь > 1) последующих значений. Для этого будем использовать ту же нейронную сеть, что и в одношаговом фильтре-предсказателе, но увеличим размерность выходного слоя сети, сделав его равным Ь. В этом случае нейронная сеть становится нелинейным N х Ь многополюсником, входным сигналом для которого является N-вектор Х(п) = [х(п — N),х(п — N — 1), ...,х(п — 1)]Т, а выходным и целевым сигналами -Ь-вектора Y(n) и Ю(п). Соответственно векторным будет также и шумовой сигнал Е(п) = Y(n)— Ю(п). Поскольку очевидно, что точность предсказаний ухудшается со временем, для количественной оценки работы фильтра будем использовать значение ошибки в наиболее отдаленный момент времени Ь, то есть Ь-компоненту вектора ощибки Е^(п). По величине Е^(п) при помощи формулы (4) будет рассчитываться точность работы предсказателя для многомерного случая.
Рассмотрим работу фильтра на примере двухленточного хаотического аттрактора, режим которого реализуется при а = 1.52. Как было показано в предыдущем разделе для этого режима нейронная сеть уже при двух слоях достаточно точно предсказывает динамику отображения на один шаг вперед. Ошибка предсказания в этом случае составляет примерно 0.006. При настройке фильтра на двухшаговое предсказание точность предсказания уменьшается более чем вдвое, увеличивая интенсивность ошибки до о ~ 0.015. Соответствующий двухшаговому предсказанию фазовый портрет показан на рис. 8, а значками «х». Из рисунка видно, что значения с выхода фильтра располагаются в непосредственной близости к портрету аттрактора. При Ь = 3 (рис. 8, б) и Ь = 4 (рис. 8, в) значения с выхода фильтра следуют за изгибами кривой аттрактора. Однако их разброс увеличивается и ошибка предсказания быстро возрастает до 0.03 и 0.09, соответственно. Наконец, начиная с Ь = 5 (рис. 8, г) и далее сигнал фильтра не успевает за аттрактором и лишь более менее равномерно накрывает область фазового пространства, в которой он располагается. Величина ошибки составляет приблизительно 0.2 и в дальнейшем, при больших Ь, стабилизируется на том же уровне.
0.6
0.4
0.2
0
1 1 1 1 1 1 1 1 1 1 1/1 м
г . .TT . , - Л. :
- / f ' Л* ^
V -
■ „ ♦ ,-:> ,
F " ж—Ж—А—А—А—А—А—А—А—А А h 1 ♦
Рис. 8. Фазовые портреты на плоскости (х(п) - х(п + Ь)) (Ь = 2, 3,4, 5) для режима двухленточного хаоса, а = 1.52: аттрактор показан сплошной кривой; значения, полученные от фильтра, - значками «х»
Использование трехслойной сети вместо двухслойной незначительно снижает величину ошибки и увеличивает длительность интервала предсказания, однако, качественная картина остается прежней. Сигналы с трехслойного фильтра показаны на рис. 8 значками «о». Видно, что значения, предсказанные трехслойным фильтром, ложатся ближе к аттрактору. Однако при Ь > 5 точки, как и для случая двухслойного фильтра, перестают следовать за структурой аттрактора и просто накрывают всю область фазового пространства, где он локализован. Графики зависимости величины ошибки предсказания от Ь для двух и трехслойных сетей представлены на рис. 9 (кривые ¡2 и ¡2).
Таким образом, проведенные исследования показывают, что точность предсказания хаотической динамики отображения сначала уменьшается с ростом Ь, а затем при Ь > 5 - стабилизируется. На рис. 9 построены графики зависимости о(Ь) для четырех разных режимов: периодических колебаний при а = 1.4 (¡1), хаотических, соответствующих двухленточному хаосу при а = 1.52 (¡2 и ¡2), одноленточному хаосу при а = 1.7 (¡з и ¡3) и развитому одноленточному хаосу при а = 1.9 (¡5 и ¡5).
1
11 13 L
Рис. 9. Зависимость СКО шума ошибки от длительности интервала предсказания Ь для различных значений а: ¡1 - 1.4, ¡2 и ¡' - 1.56, 13 и ¡3 - 1.7, ¡4 и ¡4 - 1.9; линии со штрихом соответствуют трехслойной сети, без штриха - двухслойной
Для каждого из режимов приведены два графика: предсказание двухслойной сетью (отмечены значком «х») и трехслойной сетью (отмечены значком «о»), В случае периодических колебаний предсказание возможно на длительных временах, практически без потери точности, Для всех хаотических режимов мы наблюдаем качественно схожее поведение: сначала возрастание интенсивности ошибки, а затем - насыщение в некотором значении aL. Это значение, как и следовало ожидать, увеличивается с ростом хаотичности динамики отображения,
Заключение
Как показали исследования, нейронная сеть может работать в качестве предсказателя динамики дискретного отображения в широком диапазоне колебательных режимов: от периодических колебаний до хаотических. При этом, для предсказания периодических режимов, независимо от длительности периода, достаточно однослойной сети. В случае хаотической динамики однослойная сеть удовлетворительно предсказывает колебания лишь многоленточного хаоса, а в режиме одноленточно-го - точность предсказания значительно ухудшается. Интенсивность шума ошибки, при этом, следует за величиной показателя Ляпунова - его рост влечет за собой увеличение ошибки. Переход к двухслойной сети существенно улучшает ее способность предсказывать хаотическую динамику отображения. В этом случае ошибка предсказания перестает определяться показателем Ляпунова и вплоть до а ~ 1.78 остается примерно одинаковой в широком диапазоне изменений последнего. Переход к сети с тремя слоями практически не меняет ее свойства во всем диапазоне регулярных и хаотических режимов, за исключением области некогерентного хаоса при 1.78 < а < 2.0. В последнем случае включение дополнительного слоя позволяет уменьшить величину ошибки в несколько раз и сделать точность предсказания фильтра такой же, как и для более слабого хаоса.
Нейронная сеть позволяет предсказывать динамику отображения на протяжении нескольких итераций. При этом точность предсказания сначала быстро падает с ростом числа шагов, а затем при достижении интервала предсказания более чем пять-семь шагов стабилизируется на одном уровне oL ив дальнейшем практически не меняется. Величина oL определяется значением характеристического показателя Ляпунова.
Работа выполнена при финансовой поддержке РФФИ (грант № 14-52-12002)
Библиографический список
1. Packard N.H., Crutchield J.P., Farmer J.D. Geometry from a time series // Phys.
Rev. Lett. 1980. Vol. 45. P. 712.
2. Takens F. Detecting strange attractors in turbulence // Dynamical Systems and
Turbulence / Lect. Notes in Math. 1980. Vol. 898. P. 366.
3. Farmer J.D., Sidorowich J.J.Predicting chaotic time series // Phys. Rev. Lett. 1987.
Vol. 59. P. 845.
4. Casdagli MNonlinear prediction of chaotic time series // Physica D. 1989. Vol. 35.
P. 335.
5. Abarbanel H.D.I., Brown R., Kadtke J.B. Prediction in chaotic nonlinear systems: Methods for time series with broadband Fourier spectra // Phys. Rev. A. 1990. Vol. 41. P. 1782.
6. Grassberger P., Procaccia I. Characterization of strange attractors // Phys. Rev. Lett. 1983. Vol. 50. P. 346.
7. Cremers J., Hiibler A. Construction of differential equations from experimental data // Z. Naturforschung A. 1987. Vol. 42. P. 797.
8. Crutchfield J.P., McNamara B.S. Equations of motion from a data series // Complex Systems. 1987. Vol. 1. P. 417.
9. Pisarenko V. F., SornetteD. Statistical methods of parameter estimation for determi-nistically chaotic time series // Phys. Rev. E. 2004. Vol. 69. P. 036122.
10. Smirnov D.A., Vlaskin VS., Ponomarenko V.I. Estimation of parameters in one-dimentional maps from noisy chaotic time series // Phys. Lett. A. 2005. Vol. 336. P. 448.
11. Mukhin D.N., Feigin A.M., Loskutov E.M., Molkov Y.I. Modifed Bayesian approach for the reconstruction of dynamical systems from time series // Phys. Rev. E. 2006. Vol. 73. P. 036211.
12. Rosenblum M.G., Pikovsky A.S. Detecting direction of coupling in interacting oscillators // Phys. Rev. E. 2001. Vol. 64. P. 045202.
13. Smirnov D., Bezruchko B. Estimation of interaction strength and direction from short and noisy time series // Phys. Rev. E. 2003. Vol. 68. P. 046209.
14. Smirnov D., Bezruchko B. Detecting of couplings in ensembles of stochastic oscillators // Phys. Rev. E. 2009. Vol. 79. P. 046204.
15. Павлов А.Н., Янсон Н.Б. Применение методики реконструкции математической модели к кардиограмме // Изв. вузов. Прикладная нелинейная динамика. 1997. T. 5, № 1. C. 93.
16. Безручко Б.П., Смирнов Д.А., Зборовский А.В., Сидак Е.В., Иванов Р.Н., Беспя-тов А.Б. Реконструкция по временному ряду и задача диагностики // Технологии живых систем. 2007. T. 4, № 3. C. 49.
17. Anishchenko VS., Pavlov A.N. Global reconstruction in application to multichannel communication // Phys. Rev. E. 1998. Vol. 57. P. 2455.
18. Prokhorov M.D., Ponomarenko V.I., Karavaev A.S., Bezruchko B.P. Recovery of dynamical models of time-delay systems from time series: Application to chaotic communication // Nonlinear Phenomena Research Perspectives / New York: Nova Science Publishers, 2007. P. 7.
19. Kadtke J. Classification of highly noisy signals using global dynamical models // Phys. Lett. A. 1995. Vol. 203. P. 196.
20. Мохов И.И., Смирнов Д.А. Диагностика причинно-следственной связи солнечной активности и глобальной приповерхностной температуры Земли // Известия РАН. Физика атмосферы и океана. 2008. T. 44, № 3. C. 283.
21. Мохов И.И., Смирнов Д.А. Эмпирические оценки воздействия естественных и антропогенных факторов на глобальную приповерхностную температуру // Доклады Академии Наук. 2009. T. 426, № 5. C. 679.
22. МаркелД., Грей А. Линейное предсказание речи. М.: Связь, 1980. 308 с.
23. Джиган В.И. Адаптивные фильтры и их приложения в радиотехнике и связи // Современная электроника. 2009. № 9. C. 56.
24. Джиган В.И. Адаптивная фильтрация сигналов: Теория и алгоритмы. М.: Техносфера, 2013. 528 с.
25. Розенблатт Ф. Принципы нейродинамики: Перцептрон и теория механизмов мозга. М.: Мир, 1965.
26. Минский М., Пейперт С. Перцептроны. М.: Мир, 1986.
27. Каллан Р. Основные концепции нейронных сетей. М.: Вильямс, 2001. 290 с.
28. Хайкин С. Нейронные сети. М.: Вильямс, 2006. 1104 с.
29. Галушкин А.И. Нейронные сети. Основы теории. Изд-во «Телеком», 2012. 496 с.
30. Савченко А.В. Распознавание изображений на основе вероятностной нейронной сети с проверкой однородности // Компьютерная оптика. 2013. Т. 37, № 2. С. 254.
31. Думский Д.В., Павлов А.Н., Тупицын А.Н., Макаров В.А. Классификация нейронных потенциалов действия на основе вейвлет-преобразования // Изв. вузов. Прикладная нелинейная динамика. 2005. Т. 13, № 5-6. С. 77.
32. Тупицын А.Н., Назимов А.И., Роот Н.А., Павлов А.Н. Идентификация потенциалов действия малых ансамблей нейронов с применением вейвлет-анализа и метода нейронных сетей // Известия Саратовского университета. Новая серия. Серия: Физика. 2009. Т. 9, № 2. С. 57.
33. Uma Maheswari N., Kabilan A.P., Venkatesh R. Speaker independent speech recognition system using neural networks // Журнал радиоэлектроники. 2009. № 7. С. 1.
34. Кузовников А.В. Классификация радиосигналов в нейронных сетях // Нейрокомпьютеры: Разработка, применение. 2012. № 8. C. 52.
35. Терешонок М.В. Классификация и распознавание сигналов систем радиосвязи // Телекоммуникации и транспорт. 2008. № 6. С. 28.
36. Говорова Ю.С., Солдатов Ю.А. Применение нейронных сетей к решению фазовой задачи // Вестник Нижегородского университета. 2004. № 1. С. 185.
37. Кондратенко Ю.П., Коробко А.В., Свиридов А.И. Фильтрация помех и анализ характеристик фильтров на основе адаптивных алгоритмов и нейронной сети adaline // Вестник Национального технического университета «Харьковский политехнический институт». Серия: Информатика и моделирование. 2012. № 38 C. 102.
38. Смирнов А.А., Смирнов А.С., Косторнова С.В., Штрекер Е.Н. Разработка и исследование параллельного цифрового согласованного фильтра с нейронной сетью // Проектирование и технология электронных средств. 2008. № 3. C. 18.
39. Xianjun N.Research of data mining based on neural networks // World Academy of Science, Engineering and Technology. 2008. № 39. P. 381.
40. Манжула В.Г., Федяшев В.С. Нейронные сети Кохонена и нечеткие нейронные сети в интеллектуальном анализе данных // Фундаментальные исследования. 2011. №4. С. 108.
41. Kulkarni D.R., Parikh J.C., Pandya A.S. Dynamic predictions from time series data -
an artificial neural network approach // International Journal of Modern Physics. C. 1997. Vol. 8, № 6.
42. de Oliveira K.A., Vannucci A., da Silva E.C. Using artificial neural networks to forecast chaotic time series // Physica. A. 2000. Vol. 284, № 1-4. P. 393.
43. Антипов О.И., Неганов В.А. Прогнозирование и фрактальный анализ хаотических процессов дискретно-нелинейных систем с помощью нейронных сетей // Доклады Академии наук. 2011. Т. 436, № 1. С. 34.
44. Rumelhart D.E., Hinton G.E., Williams R.J. Learning representations of back-propagation errors // Nature. 1986. Vol. 323. P. 533.
Поступила в редакцию 21.11.2014 После доработки 19.12.2014
A NEURAL NETWORK AS A PREDICTOR OF THE DISCRETE MAP
A. V. Shabunin
Saratov State University
The possibility of predicting the regular and chaotic dynamics of a discrete map by using artificial neural network is studied. The method of error back-propagation is used for calculation the coefficients of the multilayer network. The predicting properties of the neural network are explored in a wide region of the system parameter for both regular and chaotic behaviors. The dependance of the prediction accuracy from the degree of chaos and from the number of layers of the network is studied.
Keywords: Neural networks, dynamical chaos, signal processing.
Шабунин Алексей Владимирович - окончил Саратовский государственный университет (1990). Доктор физико-математических наук (2008), профессор кафедры радиофизики и нелинейной динамики СГУ. Научные интересы -нелинейная динамика, теория колебаний, синхронизация и управление хаосом. Автор более 75 научных публикаций.
410012 Саратов, ул. Астраханская, 83
Саратовский государственный университет им. Н.Г. Чернышевского E-mail: shabuninav@info.sgu.ru
