Современные проблемы моделирования по временным рядам Текст научной статьи по специальности «Математика»

ФИЗИКА

УДК 530.18

СОВРЕМЕННЫЕ ПРОБЛЕМЫ МОДЕЛИРОВАНИЯ ПО ВРЕМЕННЫМ РЯДАМ

Б.П. Безручко, Д.А. Смирнов*

Саратовский государственный университет, кафедра электроники, колебаний и волн E-mail: [email protected]

*Саратовское отделение Института радиотехники и электроники РАН E-mail: [email protected]

Математическое моделирование по дискретным последовательностям экспериментальных данных (временным рядам) - активно развивающееся направление математической статистики и нелинейной динамики. Оно начиналось с аппроксимации множества экспериментальных точек на плоскости гладкой линией, а сейчас такие эмпирические модели имеют вид сложных дифференциальных и разностных уравнений и способны описывать даже нелинейные колебательноволновые феномены. Практические приложения эмпирических моделей очень разнообразны - от прогнозов будущего до технической и медицинской диагностики, но процедуры их получения трудно укладываются в формальную схему.

В статье дан обзор узловых проблем построения динамических моделей по хаотическим рядам и современных подходов к их решению. Разнообразные практические ситуации систематизированы по степени априорной осведомленности исследователя о подходящей структуре модели: «прозрачные», «серые» и «черные ящики». Изложение проводится по материалам публикаций многих научных групп за период 1981-2005 гг. в международных и отечественных изданиях; для иллюстрации подходов использованы в основном оригинальные материалы ученых и их коллег.

CONTEMPORARY PROBLEMS IN MODELING FROM TIME SERIES

B.P. Bezruchko, D.A. Smirnov

Mathematical modeling from discrete sequences of experimental data (time series) is an actively developing field in mathematical statistics and nonlinear dynamics. It started from approximation of a set of data points on a plane with a smooth curve, while currently such empiric models take the form of sophisticated differential and difference equations and are capable of describing even nonlinear oscillatory and wave phenomena. Practical applications of the empiric models are various ranging from future forecasts to technical and medical diagnostics. However, procedures for their construction are difficult to describe within a cohesive framework.

In this article we give an overview of key problems in construction of dynamical models from chaotic series and contemporary approaches to their solution. Various practical situations are described systematically according to the amount of a priori information about appropriate model structure, they are called «transparent», «gray», and «black boxes». We outline results of publications of many scientific groups in international and Russian journals during the period 1981-2005. To illustrate approaches, mainly original results of the authors and their colleagues are used.

ВВЕДЕНИЕ

Повсеместное использование аналого-цифровых преобразователей, цифрового представления информации, прогресс вычислительной техники и программного обеспечения стимулируют интерес к методам обработки дискретных последовательностей экспериментальных данных (рядов) и их использованию для моделирования. Построение моделей из «первых принципов» - общих законов природы, таких как законы Ньютона в механике, законы сохранения и т.п., записанных с учетом особенностей объекта [1], - возможно далеко не всегда. На практике типичны ситуации, когда основным источником информации о поведении объекта являются данные измерений скалярной или векторной величины I) (наблюдаемой), сделанные в последовательные моменты времени. Такой набор данных

НАУЧНЫЙ

ОТДЕЛ

... ....

© Б.П. Безручко, ДА Смирнов, 2006

называют временным рядом и обозначают

кЬ где ч, ='7(0. = /Д/ •

А/ - интервал выборки, N - длина ряда. Создание моделей по экспериментальным временным рядам в математической статистике и теории автоматического управления получило название идентификации систем [2], а в нелинейной динамике именуется реконструкцией динамических систем [3]. Заметим, что использование слова «реконструкция» полностью адекватно лишь случаю восстановления уравнений по их решениям, при моделировании же реальных систем больше подходят термины «построение» или «конструирование» модели. Но поскольку термин «реконструкция» широко используется, мы также будем его употреблять.

Предшественницами современных задач, решаемых методами реконструкции динамических систем, были задачи аппроксимации и статистического исследования зависимостей между наблюдаемыми величинами, которые рассматривались уже в середине XVIII века (см. [4]). Первоначально наблюдаемые процессы моделировались с помощью явных функций времени т] = /(/), аппроксимирующих множество экспериментальных точек на плоскости (77, г). Целью моделирования были прогноз будущего развития процесса (достигался путем экстраполяции) или сглаживание наблюдаемых зашумленных данных (использовалась интерполяция). В начале XX века серьезный шаг в развитии методов эмпирического моделирования сложных процессов был сделан в математической статистике, когда было предложено использовать линейные стохастические модели авторегрессии - скользящего среднего

[5]. Этот подход к моделированию был основным в течение полувека (1920-1970гг.) и нашел многочисленные приложения, особенно для автоматического управления [2, 6, 7]. Формирование концепции динамического хаоса и развитие вычислительной техники привели к тому, что в последние годы эмпирическое моделирование проводится уже на основе нелинейных разностных и дифференциальных уравнений, в том числе многомерных (см. пионерские работы в этой области [8-21]). Рассматриваемые проблемы актуальны как в фундаментальном, так и в прикладном плане; эмпирические модели востребованы в различных областях науки и практики [22]: в физике, метеорологии, сейсмологии, экономике, медицине, физиологии и др.

Целью данной статьи является обзор проблем и методов построения эмпирических моделей по зашумленным хаотическим рядам, дополняющий уже известные обзорные

материалы [23-32]. Мы попытались отразить вклад многих коллективов, ведущих исследования в этой области, но для иллюстрации использовали в основном оригинальные результаты работы нашей группы (см. сайт www.nonlinmod.sgu.ru). Как правило мы будем говорить о конечномерных моделях в виде разностных уравнений (отображений)

1=*Х*и,с) (1)

или обыкновенных дифференциальных уравнений

сЬс/Ж = .Р(л:,с), (2)

где л: - О-мерный вектор состояния, .Р - вектор-функция, с - Р-мерный вектор параметров, п - дискретное время, / - непрерывное время.

Материал излагается по принципу «от простого к сложному» - по мере увеличения априорной неопределенности о структуре модели: от случая, когда известно почти все и остается только вычислить значения параметров в уравнениях (см. параграф 2), до ситуации, когда об объекте, а следовательно, и о форме адекватной модели ничего не известно априори (см. параграф 4). При этом мы опираемся на схему процесса реконструкции, изложенную в параграфе 1. В параграфе 5 представлены некоторые приложения эмпирических моделей.

1. СХЕМА ПРОЦЕССА МОДЕЛИРОВАНИЯ

Несмотря на безграничное число ситуаций, объектов и целей, вносящих в процесс свое специфическое, можно выделить основные этапы моделирования и представить их в виде схемы (рис.1). Работа начинается с рассмотрения известной информации об объекте с учетом поставленной цели (познавательной или практической), с получения и предварительного анализа экспериментальных данных

- этап 1, а заканчивается использованием полученной модели в приложении к конкретной задаче. Но этот процесс обычно является итерационным - сопровождается неоднократными повторениями, возвратами в исходную и промежуточные точки схемы, последовательными приближениями к «хорошей» модели.

На этапе 2 формируется структура модели: выбираются тип и число уравнений, задается вид входящих в них функций (компонент функции 1?) и динамических переменных (компонент вектора х). В качестве переменных могут использоваться непосредственно наблюдаемые величины, но в общем

случае связь переменных с наблюдаемыми тоже приходится специально задавать: Т] = к(х), где функцию /?, связывающую наблюдаемые величины и переменные модели (состояние), называют измерительной функцией, в измерениях могут присутствовать и шумы. Этот этап называют также «структурной идентификацией» [32].

Этал1. Получение накалю временных рядов наблюдаемых

ЙЙЯЙ

Этал 2. Выбор структуры модели

ТХП | СИП ^СМ)Ь переменны] урмиеиий, функций ;с наблюдаемыми

' - 1 I

Этал 3. Подгон*» модели (расчет параметров)

Этал 4. Диагностическая проверка модели

Модель удовлетворительна

Модель не удовлетворительна

X_______________

Использование недели

Рис.1. Типовая схема процесса моделирования по временному ряду

На этапе 3 подбираются значения параметров уравнений с. Часто говорят об оценке параметров, или «подгонке» модели; в теории идентификации - это «параметрическая или непараметрическая идентификация» [32]. При оценивании, как правило, проводится поиск экстремального значения некоторой целевой функции, например минимизируется сумма квадратов отклонений решений модельных уравнений от наблюдаемых данных.

Наконец, качество модели проверяется с использованием прибереженной для этой цели тестовой части ряда - этап 4. По конечным целям моделирования выделяют два типа задач -- «познавательная идентификация» (если целью является получение адекватной модели) и «практическая идентификация» (если есть практическая цель, которую стремятся достичь с помощью построенной модели, например прогноз) [32]. В зависимости от того, какая из постановок имеет место, проводится либо проверка адекватности (верификация) модели в отношении интересующих исследователя свойств объекта, либо проверка эффективности модели для достижения поставленной цели. Если модель признана удовлетворительной (адекватной или эффективной), то полученная конструкция берется в дело, если неудовлетворительной - то возвращается на доработку на любой из этапов схемы (см. рис.1).

Фон, на котором изображена схема, меняется от черного («тьма незнания») до белого, отражая степень априорной неопределенности, с которой приходится сталкиваться при моделировании. Наименее благоприятна для моделирования ситуация, получившая название «черного ящика», когда информация о структуре возможной адекватной модели отсутствует и начинать приходится с самого верха описанной схемы. Чем больше известно о том, как должна выглядеть модель, тем вероятнее успех: «ящик» становится «серьш» и даже «прозрачным». От решения проблем, встречающихся на нижних ярусах схемы, уклониться невозможно, с ними неизбежно сталкивается исследователь, преодолевший этап структурной идентификации. Поэтому начнем рассмотрение возникающих при реконструкции проблем с наиболее простой ситуации, когда о модели известно все, кроме конкретных значений ее параметров, на рис.1 ей соответствует белый фон.

2. СИТУАЦИЯ ПОЛНОЙ ОПРЕДЕЛЕННОСТИ -ЗАДАЧИ О «ПРОЗРАЧНОМ ЯЩИКЕ»

Рассмотрим ситуацию, когда структура (вид и число уравнений, вид функций Р) модели исследуемого объекта полностью известна. Задача состоит только в оценке неизвестных параметров с — (сг....сг) по наблюдаемым данным. Такая постановка весьма востребована, встречается в различных приложениях, и поэтому привлекает серьезное внимание. Здесь можно выделить две основные проблемы, волнующие исследователей:

1) получение оценок параметров с необходимой точностью; это особенно важно, если по условиям эксперимента параметры не могут быть измерены непосредственно, т.е. процедура моделирования выступает в роли «измерительного прибора» [33-40];

2) оценивание параметров в ситуации дефицита данных, когда по имеющемуся ряду наблюдаемой Г) (возможно, векторной) не удается сформировать ряды всех динамических переменных модели хк, к= 1,...,!), т.е. некоторые переменные являются «скрытыми» [16,21,41].

Рассмотрим эти проблемы поочередно на показательных примерах.

2.1. Оценки параметров и их точность

Проиллюстрируем варианты постановки задачи и методик ее решения на примере оценки параметра эталонного нелинейного отображения по временному ряду, представляющему собой его зашумленное решение. В качестве объекта используем квадратичное

отображение в хаотическом режиме, считая неизвестным его единственный параметр с:

= 1 -сх] + ^, 77п =* + £,,

(3)

где - случайные процессы, первый из

которых называют «динамическим» шумом (влияет на динамику), а второй - «измерительным» шумом (влияет только на данные наблюдения).

В отсутствие шумов (£п г= ^ = 0)

т]п = хп, и все экспериментальные точки на

плоскости х„,хл+| лежат точно на параболе

(рис. 2, а). Процедура определения с выливается в решение алгебраического уравнения для неизвестного параметра, решение имеет

вид с - (1 - хп^)/х2п . Крышечкой здесь и далее будем обозначать величины, рассчитанные по временному ряду. Причем для расчета достаточно использовать любые два измерения х„,*,+| с *„*0. В результате модель

совпадает с объектом с точностью до погрешностей вычислений, т.е. является практически идеальной.

1.2 Ли+1 5 Р % 1.2 Ли+1

0.4 І 1» 0.4 I3

%

* ц А О '

0.4 д’ "■ : I -0.4 $ Г 1

1.2 ^ -1.2-

1.2

0.4

-0.4

Л»

-1.2

П„.1

V

,ч

"А

Л*

-1.2

-0.4

0.4

Л

X

1.2

1.5

1.0

0.5

0.0

-0.5

-1.0

-1.2 -0.4

0.4

1.2

-1.2

0.4

0.4

1.2

!•

х

12

16

20

Рис.2. Оценка параметров на примере квадратичного отображения (3) при с = 1.85: а - нет шума, кружки - наблюдаемые значения, пунктир - исходная парабола; 6 - есть динамический шум, кружки - наблюдаемые значения, пунктир - модельная парабола, полученная минимизацией среднего квадрата вертикальных расстояний (некоторые показаны жирными линиями); в - гауссовский измерительный шум, кружки - наблюдаемые значения, пунктир - модельная парабола, полученная минимизацией среднего квадрата ортогональных расстояний; г - гауссовский измерительный шум, кружки - наблюдаемые значения, ромбики - реализация модели, наиболее близкая к наблюдаемому ряду в смысле наименьших квадратов (6)

Наличие шума в динамике или измерениях меняет ситуацию - вместо точного решения приходится ограничиться статистическими оценками. Существует множество методов оценивания [42]. Рассмотрим некоторые из них.

2.1.1. Метод максимального правдоподобия

Метод максимального правдоподобия (ММП) является наиболее эффективным при достаточно общих условиях [42], так что именно его часто объявляют в качестве используемого метода. Однако, как правило,

делаются дополнительные предположения о свойствах шумов и объекта, так что ММП приводится к одной из версий метода наименьших квадратов (МНК).

Начнем с более простой для оценивания ситуации, когда в системе (3) есть только динамический шум (Т]п=хп), который представляет собой последовательность независимых случайных величин, имеющих одинаковую функцию плотности распределения вероятностей (х). МП оценкой параметра является значение с, максимизирующее

функцию правдоподобия (логарифмическую), т.е. условную плотность вероятности появления имеющегося временного ряда наблюдаемой при заданном с:

1п Цс) = 1п р{т]х, т]2,...,77 у |с) «

£-4 (4)

*Х1п

п -1

Для применения метода необходимо знать априори закон распределения р^(х),

что редко имеет место. Чаще всего рассматривают нормально распределенный шум, для чего есть теоретические (центральная предельная теорема) и практические (успешные результаты) основания. Для нормального шума ММП (см. формулу (4)) сводится к «обычному» методу наименьших квадратов.

2.1.2. Динамический шум: обычный метод наименьших квадратов

Метод наименьших квадратов (МНК) является самым популярным методом оценивания в силу относительной простоты численной реализации имеющегося богатого запаса теоретических сведений о свойствах НК оценок и вполне удовлетворительных практических результатов. Обычный МНК состоит в минимизации суммы квадратов отклонений:

N

^с))2 -» 1тнп • (5)

п-2

Графически это означает, что на плоскости (/7„,/7„4|) проводится кривая заданной

формы так, чтобы минимизировать сумму квадратов вертикальных расстояний от экспериментальных точек до этой кривой (рис. 2, б). Подчеркнем, что МНК часто дает приемлемую точность оценок, даже если шум не гауссовский, т.е. имеет самостоятельное значение.

Техническая проблема при применении ММП и МНК состоит лишь в том, что «рельеф» оптимизируемых функций может оказаться сложным и содержать множество локальных экстремумов. Это имеет место для задачи (5), если зависимость ^ от с нелинейна. Тогда задача оптимизации решается итерационным путем, начиная с некоторой стартовой догадки для искомых параметров. Будет ли найден глобальный экстремум - зависит от «удачности» стартовой догадки, ее

близости к истинному значению параметра. Для рассмотренного примера (3) зависимость Р от с линейна, поэтому функция £ квадратична по с и имеет единственный глобальный минимум, который легко отыскивается путем решения линейного алгебраического уравнения. В этой простоте решения задачи на наименьшие квадраты состоит причина того, что исследователи часто предпочитают модели с линейной зависимостью от параметров (см. параграф 4).

Ошибка оценки с уменьшается с ростом длины ряда. А именно в данной постановке ММП и обычный МНК дают асимптотически несмещенные состоятельные оценки, т.е. ошибка оценки стремится к нулю при N ->оо. Можно показать, что дисперсия оценки (средний квадрат случайной ошибки) убывает пропорционально М Л .

2.1.3. Измерительный шум: полный МНК и другие подходы

Рассмотрим теперь случай только измерительного шума (т)п = хп+£п). Задача оценивания здесь усложняется: обычный МНК (см. выражение (5)) дает смещенные оценки при сколь угодно длинном ряде, поскольку он рассчитан на другую ситуацию - только с динамическим шумом. Однако он прост в реализации, так что если измерительный шум невелик (до 1% от среднеквадратичного отклонения сигнала), то приемлемы и обычные НК оценки [32].

Повысить точность оценок при больших шумах отчасти удается при использовании так называемого полного МНК [31], когда минимизируется сумма квадратов ортогональных расстояний (рис. 2, в). Но это только полумера, так как смещенность оценок полностью не устраняется. Выход состоит в том, чтобы «честно» записать функцию правдоподобия для новой ситуации с учетом способа вхождения шумов. При этом в число оцениваемых величин нужно включить и начальное состояние модели . При нормальном шуме задача сведется к варианту МНК, при котором реализация модели подбирается как можно более близкой к наблюдаемому ряду (рис. 2, г):

5’(с,д:|) = Х(?7и -^"Ч^с))2 -> ш!п , (6)

’ н=О

где - п-я итерация отображения Хп+\ =^(*„>С).

Поскольку траектория хаотической системы очень чувствительна к начальным условиям и параметрам, то дисперсия оценок в данном случае убывает очень быстро (иногда даже экспоненциально) с ростом N [37, 38], но при условии, что всегда удается находить глобальный минимум (6). При большом N график функции .V становится сильно изрезанным, так что найти глобальный минимум практически невозможно (рис. 3, а), так как требуется слишком удачное задание стартовых догадок для с и х,. Об асимптотических

свойствах оценок тоже говорить трудно, так как в пределе Л'' —» со целевая функция становится негладкой. Поэтому разрабатываются модификации ММП в приложении к данной задаче [34-36, 38-40].

Ы-\

100 10 1 1 0.1 0.01 0.001

ДО

100 -! 5

10 1

1 ~

0.1 1 ..

0.01 '

0.001 -

1.5 1.6 1.7 1.8 1.9 2.0

а

]-■ гргут '■ 1.5 1.6 1.7 1.8 1.9 2.0

б

Рис.З. Целевые функции для квадратичного отображения (3) при N = 20, с — 1.85, х, = 0.3 : а - целевая

функция для итераций в прямом времени (6), б - целевая функция для итераций в обратном времени (7)

Так, предлагалось делить исходный ряд на сегменты небольшой длины I, по каждому из которых можно найти минимум (6), и усреднять полученные оценки (кусочный метод). Это практически целесообразный подход, но итоговая оценка может оставаться асимптотически смещенной, а ее дисперсия убывает опять только как ТЯЛ. (Некоторые варианты улучшения свойств оценок описаны в п. 2.2.) Здесь мы отметим только специальный вариант МНК, предложенный в [39] для случая одномерных отображений. Он основан на использовании того свойства, что единственный ляпуновский показатель одномерного хаотического отображения в обратном времени становится отрицательным и траектория отображения не столь чувствительна к параметрам и «начальному» условию. Поэтому минимизируется величина

/7=0

где - п-я итерация отображения

хп+х = Р(хп, с) в обратном времени. Для сколь угодно длинного ряда график целевой функции выглядит достаточно плавным (рис. 3, б) и найти глобальный минимум несложно. При малых и умеренных шумах (до 5-15%) погрешности метода (7) оказываются меньше, чем для упомянутого кусочного метода. Причем для малых шумов он дает асимптотически несмещенные оценки, и дисперсия убывает в типичном случае, как N 2, что обусловлено близкими возвратами траектории в окрестность экстремума функции ^ [40].

2.2, Скрытые переменные .

Когда уровень измерительного шума значителен, переменную состояния х часто считают «скрытой», так как ее значения, строго говоря, не известны. «Еще более скрытыми» являются переменные, даже зашумленные значения которых нельзя ни непосредственно измерить, ни вычислить из рядов наблюдаемых величин, что часто имеет место на практике. В этом случае получение оценок параметров гораздо более проблематично, чем в задачах, рассмотренных в п. 2.1. Зато если удается эту процедуру провести успешно, то как ее побочный продукт появляется дополнительная возможность - получить временные ряды скрытых переменных. Тогда процедура моделирования опять выступает как измерительный прибор, но уже в отношении динамических переменных.

Методики мы проиллюстрируем на примере оценки параметров обыкновенных дифференциальных уравнений (ОДУ) без динамического шума. Объект - классическая хаотическая система (система Лоренца):

х, = с,(х2-х,),

х2 = -х2 + х, (с3 - х3), (8)

х3 =-С2Хз +х,х2,

с параметрами с, = 10,с2 =8/3,с3 =46. Наблюдается только зашумленная реализация величины х,: = *> (О + С, •

Все методики оценки основаны так или иначе на идее типа (6), т.е. подбираются та-

кое начальное состояние модели и ее параметры, чтобы ее реализация была близка к наблюдаемому ряду в смысле наименьших квадратов. Непосредственное решение задачи в форме (6) носит название «метод начального условия» [43]. Как уже было сказано, он не применим для длинных хаотических рядов. Деление ряда на сегменты ухудшает точность оценок, а итерации в обратном времени в случае многомерной диссипативной системы не пригодны.

Отчасти обойти трудности и использовать более или менее длинные ряды позволяет алгоритм Бока [8, 21], который называют еще методом множественной стрельбы, так как он от решения задачи Коши для получения траектории модели переходит к решению набора краевых задач. Идея состоит в том, чтобы разбить исходный ряд на сегменты длиной I и рассматривать начальные условия на каждом их них как дополнительные оцениваемые величины. Решаются задачи оптимизации (см. выражение (6)) на каждом сегменте, причем значения параметров модели с одинаковы для всех сегментов, и еще накладываются дополнительные условия «сшивания» сегментов траектории модели, чтобы в итоге получить непрерывную траекторию на всем интервале наблюдения. Таким образом, число свободных оцениваемых параметров остается тем же, что и в методе начального состояния, но промежуточные значения искомых величин могут проходить в процессе работы итерационного метода минимизации через области, соответствующие разрывной траектории модели и потому запрещенные для метода начального состояния. Это обеспечивает большую гибкость алгоритма Бока. На рис. 4 представлен пример применения методов начального условия и множественной стрельбы для хаотической реализации системы Лоренца. Метод множественной стрельбы находит в этом случае глобальный минимум, тогда как метод начального условия останавливается в локальном. Но заметим. что метод множественной стрельбы не гарантирует нахождение именно глобального минимума, а только смягчает требования к удачности стартовых догадок для искомых величин. Для еще более длинного ряда и он станет неэффективным, так как требование

близости хаотической траектории модели к наблюдаемому на длинном интервале приведет вновь к слишком жестким требованиям к «удачности» стартовых догадок для параметров и скрытых переменных.

Как показано в [44], еще больше снизить остроту проблемы можно, если допустить разрывность итоговой траектории модели в некоторые моменты времени на интервале наблюдения. При этом увеличивается число независимых оцениваемых величин, что ведет к росту дисперсии оценок, но зато растет и вероятность отыскания глобального минимума целевой функции. Эта модификация позволяет использовать сколь угодно длинные хаотические ряды, а расплата состоит в том, что иногда модель с неадекватной структурой может быть признана «хорошей» за счет способности воспроизвести короткий участок ряда. Поэтому требуется осторожный выбор числа и размера сегментов непрерывности траектории модели. Отметим также дополнительную трудность ситуации со скрытыми переменными: кроме удачных

стартовых догадок для параметров очень важно найти и удачные стартовые догадки для скрытых переменных в отличие от чрезмерно оптимистичных ранних утверждений [21]. Часто приходится действовать наугад, но полезную информацию можно получить и из предварительного изучения свойств модели [44].

В заключение упомянем, что существуют и развиваются способы оценки параметров и скрытых переменных, пригодные в случае одновременного наличия динамического и измерительного шумов. Они основаны на байесовском подходе [45—47] и использовании модифицированного фильтра Калмана [48]. На эту широкую область исследований мы обращаем внимание читателя, но рассмотреть здесь не имеем возможности.

Верификация моделей в рассмотренных задачах о прозрачном ящике проводится по двум основным критериям: 1) анализ остатков (невязок) модели, т.е. проверка их соответствия предполагаемым свойствам шумов

[6]; 2) расчет динамических, геометрических, топологических характеристик атграктора модели и их сравнение с соответствующими свойствами объекта [26].

30

-30

30

Стартовая догадка

'\--Л Л-У\У\.

УХ ^4 -V, ->Л"

-20

40

Промежуточный этап

• V • „ Ч- /*1

♦» *„ Л. •»*<,* *• А <7 *ґ V У у ‘У

60

"д ^ Локальный Ч.У I ииннкум

йг

£

Рис.4. Оценка параметров по хаотической реализации координаты х = х, (длиной 100 точек с выборочным интервалом 0.04) системы Лоренца при наличии нормально распределенного измерительного шума со стандартным отклонением 0.2 от стандартного отклонения сигнала (значения параметров взяты из [43]): а - метод начального состояния; представлены наблюдаемая реализация - ромбики - и реализация соответствующей координаты модели; процесс подгонки сходится к локальному минимуму, где траектория модели и значения оценок параметров сильно отличаются от истинных; б - метод множественной стрельбы; процесс подгонки сходится к глобальному минимуму, где траектория модели и значения оценок параметров близки к истинным

2.3. Что дают удачные попытки моделирования и какая польза от неудачных?

Успешная реализация описанных методов обещает получение оценок не только искомых параметров, но и рядов скрытых переменных, а также сулит ряд соблазнительных приложений: проверку адекватности заложенных в модель представлений, «измерение» величин, недоступных прибору экспериментатора, восстановление утерянных или искаженных участков временной зависимости измеряемой величины. Но и неудачные попытки дают полезную информацию. Прокомментируем это подробнее.

На практике никогда не встречается в чистом виде задача о прозрачном ящике. Исследователь только субъективно может верить в то, что пробная структура модели адекватна объекту. Поэтому и результат моделирования может оказаться отрицательным, т.е. невозможно получить адекватную модель с заданной структурой. Тогда исследователю придется признать несправедливость его представлений о механизмах протекания процесса и вернуться к этапу выбора структуры модели. Если есть несколько альтернативных математических конструкций, то ре-

зультаты моделирования по рядам могут выявить из них наиболее адекватную. Иными словами, процедура моделирования даст возможность опровергнуть или подтвердить (может быть, уточнить) содержательные представления об исследуемом объекте.

Впечатляющий пример такого моделирования и содержательного вывода о механизме биохимического сигнального процесса в клетках продемонстрирован в работе [49]. В [50] подтверждена справедливость модельных представлений о работе газового лазера и получены не измеряемые непосредственно параметры скоростей перехода между энергетическими уровнями в зависимости от тока накачки. Однако несмотря на эти примеры практических успехов, задача очень часто может оказаться технически неразрешимой: чем больше скрытых переменных и неизвестных параметров, тем меньше шансов на успех и хуже свойства получаемых оценок.

3. ЧАСТИЧНАЯ АПРИОРНАЯ ОСВЕДОМЛЕННОСТЬ -ЗАДАЧИ О «СЕРОМ ЯЩИКЕ»

На наш взгляд, одно из самых перспективных направлений развития методов реконструкции соответствует ситуации «серого

ящика», когда о структуре модели известно почти все за исключением некоторых компонент функции F в (1) или (2). Эти функции, в общем случае нелинейные, часто могут быть легко интерпретированы физически как некоторые эквивалентные характеристики элементов исследуемого объекта. Поэтому и такую постановку задачи можно назвать задачей о восстановлении эквивалентных характеристик.

Функциональная форма характеристик неизвестна (иначе это была бы просто оценка параметров, рассмотренная выше), поэтому нужно подбирать некоторые аппроксимирующие их функции. В этом пункте мы ограничимся рассмотрением аппроксимации функций одной переменной. Этот случай более нагляден и несравненно проще аппроксимации функций многих переменных, рассмотренной в параграфе 4. Мы будем рассматривать преимущественно ОДУ, так как модельные уравнения с физическим смыслом записываются как правило в такой форме. Но первую иллюстрацию для наглядности и связи с предыдущим случаем приведем на отображении.

3.1. Аппроксимация и проблема переобучения модели

Пусть объект - одномерное отображение хя+| =F(xH) и вид функции F неизвестен.

Наблюдается сама переменная .х: Т]п = хп. В

этом случае задача сводится к тому, чтобы подобрать некоторую модельную функцию f(x,c) и ее параметры с так, чтобы она аппроксимировала F наилучшим образом. Для расчета параметров используют обычный МНК (5), только интерпретация результатов отличается. Теперь речь идет не об оценках и шумах, а об аппроксимации и ее среднеквадратичной погрешности. Каждый отдельный параметр модели теперь не имеет своего физического смысла, а смысл имеет только вся построенная модельная функция f(x,c).

Ключевой вопрос - как выбрать форму модельной функции /? Можно подбирать ее интуитивно, глядя на экспериментальные точки на плоскости {т}п,т]п+,). Но этот путь

возможен далеко не всегда. Так, он практически исключен, если неизвестная функция -лишь компонента многомерной модели. Более распространенный путь - использование

некоторых функциональных базисов для аппроксимации. Например, теоремы Вейершт-расса гласят, что любая непрерывная функция может быть сколь угодно точно равномерно приближена алгебраическим или тригонометрическим многочленом. Алгебраические многочлены /(х,с) = с1 +с,х + ... + ск^хк в

случае гладких одномерных зависимостей являются одним из наиболее эффективных вариантов аппроксимации, поэтому иллюстрацию проведем на их примере.

Итак, любая гладкая функция может быть сколь угодно точно приближена многочленом достаточно высокого порядка К (порядок многочлена связан с числом параметров как К ~ Р-\). Какой порядок многочлена выбрать на практике, располагая рядом длины N, т.е. Л'-! точкой на плоскости (/7„,7„(]) ?

Плохо выбирать слишком маленький порядок многочлена, при котором он не может воспроизвести характер наблюдаемой зависимости (рис. 5, а, тонкая линия). Плохо выбирать и слишком большой порядок: при К = N график многочлена пройдет точно через все экспериментальные точки на плоскости (77„,77п+|), но плохо предскажет добавочные

будущие наблюдения (тестовые). В последнем случае говорят о том. что модель переобучена [51]. Она не обобщает информацию, а только воспроизводит наблюдаемые точки (рис. 5, а, жирная линия).

На практике проводят аппроксимацию при различных порядках многочлена, начиная с самых малых и последовательно их увеличивая. Останавливаются тогда, когда модель дает более или менее удовлетворительное описание динамики объекта и/или результаты практически не меняются с ростом порядка многочлена. Это довольно субъективный критерий, но в конечном итоге он единственный разумный, так как любой автоматический способ подбора порядка многочлена ориентирован на специальное хорошо формализованное практическое требование к модели и не обязательно отбирает самую адекватную модель. Такие автоматические методы разработаны в теории информации. Они получены из разных соображений, но формально сводятся к тому, что надо минимизировать целевую функцию

Ф(Р) — Ошибка модели + рспмер модели —> пйп . (9)

а о

Рис. 5. Графики модельных многочленов различных порядков К = Р - \ : а - квадратичное отображение, наблюдаемые точки показаны кружками, пунктиром показан график для К = 2, тонкой линией - К = 1, жирной линией -К = 15; б - зависимост ь различных целевых функций (9) от размера модели: кружки - критерий Лкаике. треугольники - критерий Шварца. Обе показывают в этом случае оптимальное значение Р = 3, т.е. соответствующее порядку многочлена К =2, что совпадает с истинным порядком

Ошибка модели определяется в зависимости от среднего квадрата погрешности аппроксимации £2=5/(Ж-1) , а размер модели

- возрастающая функция числа параметров. Тогда при малом порядке многочлена слишком велико первое слагаемое, при большом порядке многочлена слишком велико становится второе. Для промежуточного значения как правило наблюдается минимум целевой функции, что и соответствует оптимальному размеру модели. Целевая функция N , „

Ф(Р) = — 1п (с) + Р называется критерием

г,„ N , „ 1п

Акаике [52], Ф(Р) = — 1п^‘(с) +------------Р

2 2

кри-

терием Шварца [53], Ф(Р) - 1пг2(с) + Р -энтропией модели [9]. Более громоздка формула для такой целевой функции, как длина описания [54]. Минимизация длины описания

- самый популярный в настоящее время подход, полученный из соображений оптимального сжатия информации (критерий Шварца является асимптотическим выражением для критерия минимальной длины описания). На рис. 5, б показан пример выбора порядка многочлена модели для аппроксимации квадратичной функции по реализации квадратичного отображения (3).

Если аппроксимирующая функция задается с помощью единой формулы во всем диапазоне изменений аргумента, как в случае многочлена, то аппроксимацию (и модель) называют глобальной [14]. Альтернативным и часто не менее эффективным является ло-

кальный (кусочный) подход, когда аппроксимирующая функция задается некоторой (чаще простой) формулой, но со своим набором параметров для каждой небольшой области значений аргумента [И, 14]. Наиболее популярные примеры - кусочно-постоянные и кусочно-линейные аппроксимации и кубические сплайны. Локальные модели лучше описывают менее гладкие зависимости с изломами и разрывами. Но они более чувствительны к действию шума, чем глобальные с не очень большим числом параметров. Поэтому локальные модели лучше при большом объеме данных и низком уровне шумов для сколь угодно сложной нелинейности, а глобальные модели имеют преимущества при меньшем объеме данных и более высоком уровне шума для систем с не очень сложной нелинейностью.

3.2. Оптимизация структуры модельных уравнений

Соображения по выбору оптимального размера модели (числа параметров) часто необходимо дополнить методиками поиска оптимальной модели заданного размера. Действительно, в методе, описанном выше, порядок многочлена повышается, начиная с 0, и останавливается на некотором значении К, т.е. слагаемые добавляются в наперед заданном порядке. Поэтому итоговая модель обязательно будет содержать все степени х до К включительно. Но некоторые из низких степеней могут быть лишними и их лучше бы из модели исключить. Для того чтобы реализовать более гибкий подбор структуры модели, предлагались различные способы, основан-

ные как на последовательном избирательном усложнении модели [55], так и на ее упрощении, начиная с самой сложной [56-58]. Мы опишем здесь второй вариант на примере подхода, изложенного в [59].

Одним из эффективных принципов идентификации лишних слагаемых модельной функции является наблюдение за их поведением при реконструкции по различным участкам временного ряда - по точкам, лежащим в отличающихся областях фазового пространства. Наиболее естественно это делается с использованием временных рядов переходных процессов. Полезность переходных процессов для проверки адекватности структуры модели была отмечена в [9, 60, 61]. Параметры адекватной глобальной модели стационарной системы не должны зависеть от того, по каким участкам ее временного ряда ведет-

ся реконструкция. А параметры при «лишних» слагаемых могут претерпевать в зависимости от выбора участка заметные изменения (см. рис. 6, а).

В работе [59] была предложена процедура улучшения структуры модели, основанная на последовательном удалении слагаемых, коэффициенты при которых наиболее нестабильны при изменении т. О степени стабильности (надежности) какого-либо коэффициента можно судить по величине отношения его среднего значения к его стандартному отклонению при усреднении по разным участкам временного ряда. Следует прекратить исключение слагаемых, когда качество описания моделью объекта в широкой области фазового пространства начинает ухудшаться (рис. 6, б).

£> ■•в4

2 <п X о

с-0 м

-1

1

4)

2 ^

2 г»

X о

со М |

Нужные слагаемые Лишние слагаемые

*1 0.02 1

*

0

-0.02

1000 т 2000

3000

1000

т

2000 3000

0.006

0

; \

-0.006

4 8 12 16 20 24

число исключенных слагаемых

1000 т 2000

3000

1000

т

2000 3000

а

Рис.6. Результаты реконструкции уравнения осциллятора Ван дер Поля - Тода сі х/ сії' = (1 - лг‘) сіх/сії -1 + е ' по

скалярному ряду переменной л в виде сіх/ сії = /(х,с1х/сЛ, с) с алгебраическим многочленом от двух переменных/. а - зависимость некоторых коэффициентов (при указанных рядом слагаемых полинома) модели ог положения окна реконструкции; б - зависимость ошибки аппроксимации в широкой области фазового пространства от числа

исключенных слагаемых

3.3. Специфические подходы к выбору структуры модели

Неопределенность в выборе структуры модели может быть уменьшена за счет использования априорной информации о свойствах системы или предварительного анализа рядов наблюдаемых. Речь идет об анализе всеми доступными методами, как классическими (спектральный и корреляционный анализ, восстановление фазовых портретов, распределений и т.п.), так и специфическими. Проиллюстрируем сказанное на важных

примерах реконструкции систем с запаздыванием и неавтономных систем.

3.3.1. Восстановление характеристик систем с запаздыванием

Методы построения моделей систем с запаздыванием активно развиваются в последнее время [62-73]. Несмотря на то что это системы бесконечномерные, для их моделирования пригодны мног ие изложенные ранее методы практически без изменений или с не-

Фпзта

13

которыми техническими усложнениями, например метод множественной стрельбы [70]. Хотя при использовании универсальных подходов есть и некоторые принципиальные отличия [66], которые мы не комментируем подробнее.

Здесь мы приведем пример, когда моделирование системы с запаздыванием попадает под раздел «серый ящик» и может быть проведено с помощью очень похожих подходов. Речь пойдет о системах вида

^(0 = -х(0 + /7(х(/-г0)), (10)

где наблюдается скалярная переменная х, возможно зашумленная.

В принципе можно просто решать задачу на МНК вида

£(*(0-ж(0-Д*('п-ТМ)2 -игоп,

и

рассматривая время задержки г как дополнительный неизвестный параметр [65, 68]. Рассмотрим априорные предпосылки и технологию реконструкции систем с запаздыванием,

представленные в [71-73], где особенности расположения экстремумов во временных реализациях наблюдаемых колебаний (рис. 7) выявляются при анализе временного ряда наблюдаемой и используются как диагностический признак принадлежности объекта к системам этого класса. Статистический анализ временных интервалов, разделяющих экстремумы во временных реализациях различных модельных и реальных систем с запаздыванием, позволяет установить, что зависимость числа N пар экстремумов временной реализации, удаленных друг от друга на время г, от величины г, имеет четкий минимум при времени, соответствующем времени запаздывания системы, рис. 7, б. Далее, при найденной оценке t ~ г0 можно найти оценку параметра инерционности е и аппроксимировать нелинейную функцию ^ с помощью обычного МНК или схожих методик, но не использующих на первом этапе параметризацию для аппроксимации

+

<10

20

-20

Рис. 7. Восстановление характеристик системы с запаздыванием: а - временная реализация уравнения Икеды (II); б - число пар экстремумов Л;(г), нормированное на общее число экстремумов ряда, Л/т)п(г) = Л/(2.0): в - восстановленная нелинейная функция. Численные эксперименты с добавлением шума показывают возможность реконструкции при уровнях шума до 20% от уровня сигнала

Предложенный статистический подход к определению времени задержки может быть распространен на системы с запаздыванием более высокого порядка, а также на системы с несколькими различными временами задержки [72]. Он экономен по отношению к машинному времени и использует для восстановления нелинейной функции все точки временного ряда, что позволяет по коротким временным рядам восстанавливать нелинейную функцию даже в случаях слаборазвитого хаоса, и не критичен к присутствию шума в наблюдаемой [73]. На рис. 7, в в качестве примера приведены результаты реконструкции по хаотической временной реализации рис. 7, а уравнения Икеды, описывающе-

го динамику пассивного оптического резонатора:

ex{t) = -x{t) + /і sin(x(? - г0 ) - х0 ) . (11)

3.3.2. Реконструкция неавтономных систем (регулярное воздействие)

Широкий класс объектов, для которых возможно легко учесть априорную информацию об их свойствах, - объекты, находящиеся под регулярным (периодическим или ква-зипериодическим) воздействием. Часто информацию о наличии воздействия можно получить из анализа спектра мощности наблюдаемого ряда, который для таких систем обнаруживает дискретные составляющие. В

этом случае в уравнения модели включаются описывающие воздействие функции, явно зависящие от времени. Например, если воздействие гармоническое и аддитивное, целесообразна модель в виде [74, 75]

с1пх/Жп - /(■х,^с/<Л,...,^/м*/<Л/)~|.

(14)

,с) +

(12)

+a cos cot + b sin at,

где / - алгебраический многочлен, а число переменных D на 2 меньше, чем у соответствующей ей стандартной формы (см. параграф 4).

В случае произвольного регулярного воздействия (сложного периодического и квазипериодического) удобно представление:

dnxldt" = f(x,dx/dt,...,dn~'x/dtn~',c) +

+g(t,c),

где функция g(t) описывает воздействие и также содержит неизвестные параметры. Она может иметь вид тригонометрического многочлена [76]:

(13)

к к,

#(')=X Е1с<. і ™*(мі+(р, ,,) •

/=1 у=1

Причем адекватные модели с тригонометрическими многочленами могут быть получены и при очень большом числе (сотни) используемых гармоник, тогда как при аппроксимации алгебраическими многочленами увеличение размера модели чревато неустойчивостью их траекторий.

Кроме того, зависимость от времени можно вводить и во все коэффициенты многочлена / чтобы описать неаддитивное воздействие [75, 77].

Эффективность описанных подходов проверялась на численных примерах реконструкции уравнений по зашумленным хаотическим реализациям эталонных осцилляторов при различных видах воздействия: периодическом импульсном, периодическом с субгармониками, квазипериодическом [74-78] (рис. 8).

11.3

£

43

11.8

11.3 11.3

г ■ f jlirr,

1 Шш'мИВжкї И 5* з?

I ISL 1J н І УУл. ^ЯУяНІІ «У \ J

43 -11.8 \g^' 11.8

-3.3

7.3

-3-3 б * 13

-3.3

в

Рис. 8. Реконструкция уравнений нелинейного осциллятора Года: d" xj dt

- -0.45 dxj dt + {5 + 4 cos t )(e ' -1) + 7 sin t : a - аттрактор объекта, б - агграктор модели типа (12) с D = 2. £ = 9. но гармонической зависимостью от времени во всех коэффициентах многочлена, в - фазовая орбита стандартной модели (16), (17), D = 4, К = 6

7.3

м =

4. РЕКОНСТРУКЦИЯ ПРИ ПОЛНОЙ НЕОПРЕДЕЛЕННОСТИ -«ЧЕРНЫЙ ЯЩИК»

Если о структуре модели заранее ничего не известно, остается надеяться на универсальные конструкции. Они, как правило, содержат очень много параметров, что не позволяет воспользоваться большинством из представленных в параграфе 2 методов. Например, трудности со скрытыми переменными в таком случае непреодолимы, поэтому временные ряды всех динамических переменных модели должны быть измерены или получены по наблюдаемым. Далее приходится строить многомерную модель вида (1) или

(2), где в качестве функции многих переменных / выбрана одна из универсальных конструкций с множеством неизвестных параметров. Оценку множества параметров реально проводить только обычным МНК, при этом для упрощения желательно, чтобы функция/ зависела от параметров линейно. Очень много усилий исследователей ушло на поиск универсальных подходов к решению такой задачи.

4.1. Универсальные структуры модельных уравнений

Теоретическим обоснованием подходов к получению недостающих переменных состояния модели по скалярной временной реа-

лизации являются теоремы Такенса [79, 80]. Одна из них утверждает, что для почти любой динамической системы вида (1) или (2) с достаточно гладкими функциями в правых частях ее движение на многообразии размерности тп может быть эквивалентно описано в терминах векторов задержанных значений произвольной (типичной) наблюдаемой величины 7 = /г(х). Эквивалентное описание достигается с гарантией, если размерность этих векторов й >2т. Образ исходного многообразия в новом фазовом пространстве называют «вложением», а само пространство часто называется пространством вложения. Строгие формулировки и обсуждение теорем Такенса приведены в [79-81].

Итак, векторами состояния могут служить векторы {г1„,г]п+1,т]п+гт,...,г]п^_Х)т),

где г - временная задержка. Такой подход очень популярен, так как не требует никаких преобразований ряда. Обычно он используется при построении модельных отображений вида

% =/(7й-г>7Я-2г»->:(15>

Теоретически величина задержки г может быть любой, но на практике часто нежелательны как слишком малые задержки, чтобы избежать сильной корреляции компонент вектора состояния, так и слишком большие -может слишком усложниться структура аттрактора. Потому оптимальными считаются % соответствующие четверти основного периода колебаний или первому нулю автокорреляционной функции [24, 82], первому минимуму функции взаимной информации [83] или обобщенного корреляционного интеграла [84]. Предлагались также неравномерное вложение (временные интервалы между компонентами вектора состояния не одинаковы) [85] и переменное вложение (когда набор временных задержек и даже размерность вектора зависят от его положения в пространстве состояний) [86]. Поскольку априори неизвестно значение т, то неизвестно какую именно размерность модели следует выбрать. Для этого есть некоторые оценки: метод ложных ближайших соседей [87], корреляционная размерность [88], метод главных компонент [89], метод хорошо приспособленного базиса [90]. Однако обычно приходится пе-

ребирать разные значения размерности, начиная с малых и постепенно их увеличивая, пока не будет достигнута удовлетворительная модель или насыщение результатов. Поэтому подбор размерности и даже временных задержек может становиться частью единого целого процесса моделирования, а не отдельной замкнутой первой стадией.

Предложены различные варианты выбора вида функции /в (15). Уже упоминавшиеся алгебраические многочлены плохо работают на практике при аппроксимации функций уже двух переменных [14, 30, 55, 91-93], а при данной постановке задачи нередко приходится использовать значения О в интервале 5-10. Поэтому алгебраические многочлены почти не нашли практического применения. Они относятся к способам слабой аппроксимации, так как число их параметров и ошибки сильно растут с ростом размерности аргумента. К слабой аппроксимации относятся также тригонометрические многочлены и вейвлеты.

Много усилий исследователей было потрачено на поиск методов сильной аппроксимации. К ним относятся, в частности, локальные методы [11, 14, 15, 19, 23, 94-100]. Сильная глобальная аппроксимация достигается с помощью радиальных, цилиндрических и эллиптических базисных функций [19, 20, 55, 101-103] и искусственных нейронных сетей [12, 78, 104-106]. Мы на них подробно не останавливаемся, но отметим, что эти конструкции также содержат много параметров и для них особенно актуален вопрос выбора размера модели и оптимизации ее структуры (см. параграф 3.2).

Второй вариант теоремы Такенса говорит о динамических системах с непрерывным временем и с еще более гладкими функциями в правых частях. Для них вложение можно осуществить в пространство последовательных производных наблюдаемой, т.е. вектором состояния может служить вектор

Прочие условия -

те же. Этот подход не содержит параметра т, но на практике реализуется труднее, так как при наличии даже небольших шумов расчет производной высокого порядка - крайне сложная задача. Иногда ее можно решить с помощью фильтрации, например фильтра Савицки - Голэя [107], но при достаточно

больших шумах трудности непреодолимы. На практике реально использовать значения В = 2-3, в редких случаях успехи наблюдались при В = 5. В сочетании с такими векторами состояния, как правило, строят модельные ОДУ:

*/вг7/с#й = /(г/,с1г1 /& ,...,с10~хг]/,с). (16)

О выборе аппроксимирующей функции можно сказать все то же самое, что было сказано выше для модели (15). Но при использовании производных есть больше оснований ожидать гладкости зависимости (16) и поэтому больше шансов на успех использования алгебраических многочленов. Еще одна мотивация для использования алгебраических многочленов в том, что можно надеяться придать параметрам модели физический смысл. Редко используются ОДУ с нейронными сетями и т.п. [103], поскольку если уж использовать такие сложные конструкции, то разумнее сразу строить модельные отображения, уходя от необходимости численного дифференцирования наблюдаемого ряда, а затем интегрирования модельных ОДУ при исследовании динамики модели. Таким образом,/ имеет следующий вид:

К £> О /,-7Х

/],/2,...,/д-0 У-1

Структура (16) с алгебраическим многочленом (17) или дробно-рациональной функцией в правой части была даже названа стандартной [108], поскольку теоретически к такому виду (при достаточно больших Б и К) может быть приведена любая гладкая система. Такие стандартные модели часто использовались на практике [108-119].

Значения коэффициентов оцениваются в обоих случаях обычным МНК, т.е. путем минимизации отклонений левой части уравнений (15), (16) от правой. Это справедливо только при малости измерительного шума и не очень ясно, что можно улучшить, если шум не мал, поэтому практических успехов методов остается считанное число.

Успешные результаты моделирования в виде (15) можно найти в [96, 99, 101, 102, 106]. Известные нам успехи моделирования в виде (16) носят еще более редкий характер [109-112, 114]. Как правило, структура (16) с

алгебраическим многочленом в правой части приводит к очень громоздким уравнениям с расходящимися решениями и особенно неэффективна в случае функций многих переменных, что отмечено во многих работах, например [91, 93, 103]. Подчеркнем в заключение, что описанные подходы обоснованы, строго говоря, только при отсутствии динамического и измерительного шумов. Их обобщение на эти случаи затруднительно и достигнуто только отчасти [120].

4.2. Выбор динамических переменных

Как уже сказано, координаты векторов х могут быть получены по наблюдаемой т) разными методами. Ряд «левых частей» модельных уравнений {_>’(^)} обычно получают из

ряда переменных {*(/,)}: для ОДУ (2) - численным дифференцированием ряда {х(1.)}, а для отображений (1) - сдвигом ряда {лг(^)}

по времени. Неудачный выбор динамических переменных может затруднить аппроксимацию зависимости у(х) гладкой функцией или сделать ее вовсе невозможной, если связь с х окажется неоднозначной.

Методов получения переменных много. Имея только скалярный временной ряд, можно использовать метод последовательных производных или метод временных задержек. Причем для каждого из них имеются некоторые подстраиваемые параметры, значения которые можно подбирать. Кроме этого есть методы взвешенного суммирования [80, 121] и интегрирования [122, 123], целесообразные для сильно неоднородных сигналов. Можно получать фазу сигнала как дополнительную переменную с помощью концепции аналитического сигнала, реализуемой через преобразование Гильберта [124] или комплексное вейвлет-преобразование [125]. Кроме того, можно использовать комбинации любых методов, например: часть переменных получить методом задержек, часть - интегрированием, часть - дифференцированием. Комбинированные подходы применяются на практике [121] и тоже находят обоснование в теоремах Такенса.

Мы уже перечислили много вариантов выбора динамических переменных модели. Если же наблюдается не одна величина, а не-

Фпзпна

17

сколько, характеризующих один и тот же процесс, то по каждой из компонент наблюдаемого вектора можно восстанавливать динамические переменные с помощью любой комбинации описанных методов и число вариантов с огромной скоростью возрастает (см. также [126]). Возможно, что некоторые из наблюдаемых величин лучше исключить и не использовать при моделировании. Например, может оказаться, что лучшую модель можно получить, используя последовательные производные одной из компонент и игнорируя прочие, так как для этих последовательных производных легче подобрать вид функций в модели.

Учитывая важность этапа выбора переменных [127, 128] и множество возможностей на этом этапе, актуальной можно считать задачу поиска наилучшего (или хотя бы «одного из хороших») набора динамических переменных. В [129] предложена следующая процедура выбора более перспективного для глобального моделирования набора переменных. Область V, внутри которой содержится

множество векторов {*(/)}, разбивается на одинаковые «гиперкубические» ячейки со стороной 8 (рис. 9, а). Из них выбираются все ячейки, содержащие больше одного вектора каждая: я1,...,ям. Разность между максимальным и минимальным значениями у в пределах ячейки назовем локальным разбросом и обозначим как ек. Величина максимального локального разброса £тах = шах ек,

тЗХ 1 <к<М

и график етах(3) используют в качестве основных характеристик исследуемой зависимости у(х). Пригодность рассматриваемых величин х и у для глобального моделирования оценивается из следующих соображений. Для построения глобальной модели переменные нужно выбирать так, чтобы график £тах(<5) стремился к началу координат плавно, без изломов, причем с небольшим наклоном (рис. 9, б, кривая 1), для каждой из аппроксимируемых зависимостей. Подробности и примеры приведены в [130, 131].

Рис. 9. Методика тестирования переменных: а - иллюстрация методики проверки зависимости у(дс)

на однозначность и непрерывность в случае £> = 2; б - графики е (8) для различных вариантов

выбора переменных: 1 - лучший случай (плавная однозначная зависимость у от х); 2 - зависимость с областью быстрого изменения, 3- худший случай (нет однозначности)

5. ПРИМЕРЫ ПРИМЕНЕНИЯ ЭМПИРИЧЕСКИХ МОДЕЛЕЙ

Пожалуй, самым известным приложением является использование моделей для прогноза будущего по наблюдаемому временному ряду. Это действительно наиболее интригующая задача, она рассматривается, например, в [6, 11-15, 19, 20, 22, 81, 94-100, 102, 104-106, 132-134]. У всех на слуху прогнозы

погоды и климата, землетрясении, курсов акций и валют и пр. Для предсказания перечисленных очень сложных процессов эмпирические модели оказываются полезными пока только в редких случаях (из-за «проклятия размерности» - возрастающих трудностей моделирования при увеличении размерности исследуемого движения, нехватки данных, влияния шумов), но в более простых и

определенных ситуациях вероятность успеха возрастает.

Построенные по временному ряду адекватные модели позволяют улучшить понимание механизмов, управляющих наблюдаемым процессом [9]. Речь идет о том, что положительный результат реконструкции модели (хорошее ее качество) может быть истолкован как одно из доказательств правильности физических соображений, заложенных в ее структуру. Это самодостаточная фундаментальная ценность, которая может привести впоследствии к разнообразным практическим приложениям.

Далее мы рассмотрим среди вариантов полезных приложений задачи выделения ква-зистационарных участков в нестационарном сигнале и определения направленности связи между осцилляторами. Другие известные нам прикладные результаты мы лишь перечислим.

5.1. Сегментация нестационарных временных рядов и выделение моментов изменений

С позиций теории случайных процессов нестационарность процесса означает изменение его многомерных функций распределения на интервале наблюдения. На практике большинство процессов нестационарны, особенно в биологии, геофизике или экономике. Нестационарность приводит к значительным трудностям для моделирования, едва ли не столь же большим, как «проклятие размерности». В то же время сам характер нестационарное™ может представлять интерес при исследовании объекта.

Под динамической нестационарностъю понимают ситуацию, когда исходный объект (процесс) может быть описан дифференциальными или разностными уравнениями, но с переменными параметрами [135, 136]. Одна из причин, по которой понятие динамической нестационарности может быть практически востребовано, - это возможность более точного обнаружения момента изменения параметров системы, чем по статистическим характеристикам. Если при изменении параметров существовавший динамический режим системы потерял устойчивость, система может еще некоторое время оставаться в прежней области фазового пространства. Статистические свойства наблюдаемого ряда при этом сильно не меняются. Однако со временем обязательно установится другой динамический режим, и может быть важно

как можно раньше обнаружить грядущее изменение.

Основная идея исследования подобных процессов состоит в разделении исходного ряда на М сегментов длиной I, < Л/(/, на которых система признается стационарной. Затем проводится статистическое оценивание или реконструкция уравнений по каждому из этих сегментов отдельно. Статистические тесты основаны на расчете некоторых статистик (эмпирических моментов, спектров мощности и т.п.) в каждом сегменте N и последующем сравнении этих сегментов по близости значений этих статистик. Вводится расстояние (1 между сегментами и составляется матрица расстояний <1тп = с1(\гт, ,\!п). По величине этих расстояний судят о стационарности процесса. Часто используют следующие характеристики.

1. Сравнение эмпирических вероятностных распределений по критерию х~ [137]. Для его вычисления диапазон значений наблюдаемой, принимаемых ей на всем временном ряде, разбивается на Н ячеек. Рассчитывается количество точек, попавших в каждую ячейку из каждого из двух сравниваемых сегментов; отличие распределений вычисля-

г2 2 V1 (П\, ~ П2, )

ется как с1ч = х = 2--------—, где пи и пъ

+ п21

- количество точек, попавших в мо ячейку из первого и второго сегмента ряда, соответственно. Эта статистическая мера может показывать нестационарность при постоянстве оператора эволюции в случае переходных процессов.

2. Сравнение по близости/отличию эмпи-

рических моделей - построение глобальных моделей с векторами параметров спс. и введение расстояния между сегментами как евклидова расстояния между векторами параметров [138]: = ХД.» •

И=1

Результаты анализа ряда (рис. 10, а) удобно отображать на так называемой «диаграмме возвратов» (рис. 10, б), где по осям отложены начальные точки участков ряда (/,_/), а величины мер идентичности участков показаны в шкале серого цвета. Белый цвет соответствует сильно различным различающимся сегментам ряда (большому расстоянию), черный цвет - практически одинако-

вым (нулевым расстояниям). Проиллюстрируем возможности этих мер, используя в качестве объекта исследования одномерное отображение

(18)

Наблюдается величина х, наблюдаемый ряд имеет длину 2000 точек.

В момент п = 1 ООО параметр с меняет значение 2.1, которому соответствует хаотический аттрактор в фазовом пространстве, на 2.11735, при котором устанавливается режим периода 7. Однако новый режим устанавливается после достаточно длительного (около 400 итераций) переходного процесса, так что большинство статистических свойств, например среднее и дисперсия, меняются только к моменту п = 1400 (рис. 10, а). На рис. 10, б показана диаграмма возвратов, полученная на основе меры «хи-квадрат», а на рис. 10, в, г - на основе параметров менее и более совершенных моделей. Видно, что статистическая мера обнаруживает произошедшие в системе изменения с опозданием, по сравнению с хорошей динамической моделью. Рис. 10, в, г показывает, что методы, направленные на обнаружение динамической нестационарное™, правильно работают только при достаточно высоком качестве модели. Примеры использования динамического подхода для выделения участков стационарности внутричерепной электроэнцефалограммы пациента с височной эпилепсией представлены в [139]. Схожие задачи рассмотрены в [92, 140, 141].

а

0 ЯГО 1000 1508 0 500 1000 1508 0 500 1000 1500

п п я

бег

Рис. 10. Диализ нестационарности. а - временная реализация отображения (18); 6-г - результаты ее исследования на стационарность: б - статистический критерий «хи-квадрат», в - параметры одномерных эмпирических моделей (1) с алгебраическим многочленом / порядка К = 2, г К = 6

5.2. Определение «направленности» взаимодействия между системами

Из параметров эмпирических моделей может быть извлечена и другая полезная информация. В [142] предложен подход к решению важной во многих областях практики задачи - определению направления взаимодействия между колебательными системами по их временным рядам, - основанный на построении модельных уравнений фазовой динамики.

По имеющимся временным рядам от первой и второй систем, х(1) и у(1), рассчитываются реализации фаз этих сигналов, Фх(?) и ф (О, с помощью известных методов

[124, 125]. Модель строится в виде достаточно простой и в то же время универсальной системы стохастических разностных уравнений, адекватно отражающей свойства широкого круга колебательных процессов в случае, когда системы имеют ярко выраженные основные ритмы колебаний:

Фх,у (* + О = /х,у (Фх (О (19)

где / - тригонометрические многочлены

невысокого порядка:

1М’Фу)=а0 +

+Х(С’ «к(ю£ +Ч) + СГ +пфу)).

т,п

(20)

Коэффициенты оценивают обычным МНК. По полученным оценкам рассчитываются оценки силы воздействия систем друг на друга. Степень влияния системы у на систему х определяется крутизной зависимости функции /г от фазы фу и

аналогично для с2х ^ :

л 2 = 1

2л-2 Х (21)

Х \ \{&х,у(Фх’Фу*Ь«*А*)1дФу,) ЛФАФу

о о

Нормированный индекс направленности связи есть

}(Х-*у) _ Х-+У ^у-^-х

(22)

Он принимает значения от -1 до 1 (так как величины воздействия положительны по способы их расчета), положителен, если сильнее действует система х на систему у, отрицателен в противоположном случае, равен 1 по модулю при однонаправленной связи, нулю при симметричной связи.

Чувствительность методики к слабой связи была показана в численных экспериментах. Но условием ее применимости при существенных уровнях динамического шума в исходной системе является большая длина тренировочного ряда (порядка 10000 характерных периодов [142-145]). Она уже дала интересные результаты при исследовании сложного реального процесса - взаимодействия между сердечно-сосудистой и дыхательной системами человека [143].

Но применение этой методики на практике сталкивается с существенными трудностями, когда исследуемые временные ряды нестационарны. Так, важно выявлять взаимодействие между областями мозга по электроэнцефалограммам (например, для локализации эпилептического фокуса - очага патологии), но интервал их квазистационарного поведения - не более 100 характерных периодов для любых физиологически выделяемых ритмов. Этого слишком мало для получения надежных результатов. При анализе нестационарных рядов приходится делить их на относительно короткие сегменты и рассчи-

Ш ■|^мкВ 800

-800

тывать направление связи отдельно для каждого сегмента. Попытка применить без модификаций предложенную методику к таким коротким рядам приводит к получению смещенных оценок, причины чего показаны в [145], где введены поправки к оценкам с2 и

с2 . Для характеристики направленности

связи использована

? Л2 "2 о — с —с .

*->>’ у->х

другая величина . Разработаны также приближенные формулы для 95%-ных доверительных интервалов, которые позволяют отслеживать значимость полученных по отдельной реализации результатов. Применение методики для анализа эпилептических ЭЭГ представлено на рис. 11, где серым шлейфом показаны доверительные интервалы. Перед эпилептическим припадком выявляется усиление воздействия неокортекса (очага патологии) на гиппокамп. Этот результат позволяет рассчитывать на то, что методика окажется полезной для локализации эпилептического фокуса [146]. Но для выводов требуется проверка на большом ансамбле данных, эта работа проводится нашей группой в настоящее время.

Приведенные результаты представляют интерес для фундаментальных физиологических исследований. Кроме того, описанная методика может, предположительно, найти применение при решении задач не только медицинской, но и технической диагностики. Сопоставление описанного метода анализа связанности с другими проведено в [147].

8 5

-800

0 50 100 150 200 250

I, с

0 50 100 150 200 250

с

0 50 100 150 200 250

в

Рис. 11. Внутричерепные ЭЭГ: а - гиппокамп, б - неокортекс (рядом с ним находится эпилептический фокус); в -- индекс направленности связи с 95%-ным доверительным интервалом (серый шлейф). Пунктиром отмечены начало и конец эпилептического припадка. Индекс 8 значимо меньше нуля (влияние

неокортекса на гиппокамп) перед припадком

5.3. Другие приложения

Отметим также некоторые другие полезные приложения методов реконструкции: прогноз бифуркаций слабонеавтономных

систем [148-151], многоканальная конфиденциальная передача информации [152-156], восстановление сигнала внешнего воздействия по хаотическому ряду координаты неав-

тономной системы [157], классификация сигналов [158-160], управление техническими объектами [114], расчет статистических характеристик аттракторов по коротким временным рядам [91, 92], тестирование на нелинейность и детерминизм [94, 161], адаптивная фильтрация шума [46, 162-172]. Одно из весьма интересных - уже упоминавшееся восстановление характеристик нелинейных элементов электрических цепей и других систем с помощью процедуры моделирования по временному ряду в постановке «серого ящика», включая режимы больших амплитуд и хаоса, когда эти характеристики могут быть недоступны измерению с помощью обычных средств. Подход успешно реализован для исследования динамических характеристик конденсатора с сегнетоэлектриком [173], полупроводниковых диодов [174-176], волоконно-оптических систем [177].

ЗАКЛЮЧЕНИЕ

Математическое моделирование, по-видимому, всегда останется в значительной степени искусством, но могут быть выделены некоторые общие принципы и частные рецепты (технологические приемы), позволяющие повысить шансы на получение «хорошей» модели. Ряд таких соображений, относящихся к ситуации моделирования по временным рядам, изложен в данной работе. Кроме того, мы попытались систематизировать многие имеющиеся в данной области результаты, опираясь на схему, представленную на рис. 1, разные элементы которой были проиллюстрированы на примерах различных постановок задач (от «прозрачного» до «черного» ящика). Причем подробнее обсуждались оригинальные методики. Все они апробированы на численных примерах реконструкции по зашумленным решениям эталонных уравнений. Многие из описанных методик применялись нами для исследования реальных систем: нелинейных электрических цепей, климатических процессов, функциональных систем живых организмов.

Мы практически не коснулись вопросов моделирования распределенных систем в виде дифференциальных уравнений в частных производных и других конструкций, хотя этой задаче в последнее время уделяется пристальное внимание [57, 178-182]. Также мы

почти не затрагивали вопросы построения стохастических модельных уравнений [48, 183]. Без особых подробностей изложены и многие методы построения конечномерных моделей. Однако мы попытались компенсировать эти пробелы многочисленными ссылками на работы с конкретным материалом для интересующегося читателя. Поэтому наша статья является лишь «экскурсом в...», а не исчерпывающим изложением, наверное, вечного вопроса о возможностях математического моделирования объектов и явлений природы.

Выражаем искреннюю благодарность нашим коллегам, совместно с которыми получено большинство результатов, использованных в данном обзоре в качестве иллюстраций: Е.П. Селезневу, В.И. Пономаренко, М.Д. Прохорову, Т.В. Диканеву, М.Б. Бодрову, И.В. Сысоеву, А.С. Караваеву, B.C. Власкину, Р. Веннбергу, Х.-Л. Пересу Веласкесу.

Исследования проводились при финансовой поддержке РФФИ (проект 05-02-16305), CRDF (проект REC-006), Министерства образования и науки РФ, программы Президента РФ (проект МК-1067.2004.2), Фонда содействия отечественной науке.

Библиографический список

1. Моисеев Н.Н. Математические задачи системного анали-

за. М, 1981.

2. Льюнг Л. Идентификация систем. Теория для пользователя. М., 1991.

3. Chaos and Its Reconstructions / Eds. Gouesbet G., Meunier-Guttin-Cluzel S., Menard 0. N. Y.: Nova Science Publ., 2003, P. 1-160.

4. Гнеденко Б.В. Очерк по истории теории вероятностей. М., 2001.

5. Yule G. U. On a method of investigating periodicities in disturbed series, with special reference to wolfer’s sunspot numbers // Phil. Trans. R. Soc. A London, 1927. V. 226. P. 267298.

6. Бокс Дж., Дженкинс Т. Анализ временных рядов. Прогноз и управление. М., 1974.

7. Пугачев B.C., Синицын И.Н. Стохастические дифференциальные системы. М., 1985.

8. Bock H.G. Numerical treatment of inverse problems in chemical reaction kinetics // Modelling of Chemical Reaction Systems / Eds. K.H. Ebert, P. Deuflhard, W. Jaeger. N. Y., 1981. V. 18. P. 102-125.

9. Crutchfield J.P., McNamara B.S. Equations of motion from a data series // Complex Systems. 1987. V. 1. P. 417-452.

10. Cremers Hubler A. Construction of differential equations from experimental data // Z. Naturforschung A. 1987. V. 42. P. 797-802.

11. Farmer J.D., Sidorowich J.J. Predicting chaotic time series //Phys. Rev. Lett. 1987. V. 59. P. 845-848.

12. Nonlinear signal processing using neural networks: prediction and system modelling // Lapedes A., Farber R.M. Los Alamos technical report LA-UR 2662, 1987.

13. BroomheadD.S., Lowe D. Multivariable functional interpolation and adaptive networks // Complex systems. 1988. V. 2. P. 321-355.

14. Casdagli M. Nonlinear prediction of chaotic time series // Physica D. 1989. V. 35. P. 335-356.

15. Abarbanel Brown R., Kadtke J.B. Prediction and

system identification in chaotic nonlinear systems: time series with broadband spectra // Phys. Lett. A. 1989. V. 138. P. 401— 408.

16. Breeden J.L., Hubler A. Reconstructing equations of motion from experimental data with unobserved variables // Phys. Rev. A. 1990. V. 42. P. 5817-5826.

17. Mees A.I. Dynamical systems and tesselations: Detecting determinism in data // Intern. .1. Bifurcation and Chaos. 1991. V. l.P. 777-794.

18. Gouesbet G. Reconstruction of the vector fields of continuous dynamical systems from scalar time series // Phys. Rev. A. 1991. V. 43. P. 5321-5331.

19. Giona М., Lentini F., Cimagalli V. Functional reconstruction and local prediction of chaotic time series // Phys. Rev. E.

1991. V. 44. P. 3496-3502.

20. Smith L.A. Identification and prediction of lowdimensional dynamics // Physica D. 1992. V. 58. P. 50-76.

21. Baake E.. Baake M„ Bock H.J., Briggs K.M. Fitting ordinary differential equations to chaotic data // Phys. Rev. A.

1992. V. 45. P. 5524-5529.

22. Пределы предсказуемости / Под ред. Ю.А. Кравцова. М., 1997.

23. Kantz П., Schreiber Т. Nonlinear time series analysis. Cambridge: Cambridge University Press, 1997 (chap. 12, p. 202-222).

24. Малинецкж Г.Г., Потапов А.Б. Современные проблемы нелинейной динамики. М., 2000 (гл. 11 - 14, с. 239 -311).

25. Rapp Р.Е., Schmah T.I., Mees A.I. Models of knowing and the investigation of dynamical systems // Physica D. 1999. V.

132. P. 133-149.

26. Gouesbet G., Meunier-Guttin-Cluzel S., Menard O. Global reconstructions of equations of motion from data series, and validation techniques, a review // Chaos and Its Reconstructions. N. Y.: Nova Science Publ., 2003. P. 1-160.

27. Анищенко B.C., Астахов В.В., Вадивасова Т.Е. Нелинейная динамика хаотических и стохастических систем. Саратов, 1999 (гл. 9, с. 251 -287).

28. Павлов А.Н., Янсон НЕ., Анищенко R.C Реконструкция динамических систем // Радиотехника и электроника. 1999. Т. 44, вып. 9. С. 1075-1092.

29. Аносов О.Л., Бутковский О.Я., Кравцов Ю.А. Восстановление динамических систем по хаотическим временным рядам (краткий обзор) // Изв. вузов. Прикладная нелинейная динамика. 2000. Т. 8, № 1. С. 29-51.

30. Bezruchko В.P., Seleznev Ye.P., Ponomarenko V.l. et al. Special approaches to global reconstruction of equations from time series // Изв. вузов. Прикладная нелинейная динамика.

2002. Т. 10, №3. С. 137-158.

31. Shalizi C.R. Methods and Techniques of Complex Systems Science: An Overview // arXiv: nlin. АО/0307015. V. 3. 15 July 2003.

32. Гинсберг K.C., Басаков Д.М. Идентификация и задачи управления // Идентификация систем и задачи управления: Пленарн. докл. IV Междунар. конф. М., 2005. С. 56-63.

33. Jaeger L., Kanrz П. Unbiased reconstruction of the dynamics underlying a noisy chaotic time series // Chaos. 1996. V. 6. P. 440-450.

34. McSharry P.E., Smith L.A. Better Nonlinear Models from Noisy Data: Attractors with Maximum Likelihood // Phys, Rev. Lett. 1999. V. 83. P. 4285-4288.

35. Бутковский О.Я., Кравцов Ю.А., Логунов М.Ю. Анализ погрешности восстановления параметров нелинейного отображения по зашумленным хаотическим временным рядам И Изв. вузов. Радиофизика. 2002. Т. 45, JVs 1. С. 55-

66.

36. Judd К. Chaotic time series reconstruction by the Bayesian paradigm: Right results by wrong methods? // Phys. Rev. E. 2003. V. 67, 026212.

37. Horbelt W., Timmer J. Asymptotic scaling laws for precision of parameter estimates in dynamical systems // Phys. Lett. A. 2003. V. 310. P. 269-280.

38. Pisarenko V.F., Sornette D. On statistical methods of parameter estimation for deterministically chaotic time series ft Phys. Rev. E. 2004. V. 69. 036122.

39. Смирнов Д.А., Власкин B.C., Пономаренко В.И. Метод оценки параметров одномерных отображений по хаотическим временным рядам // Письма в ЖТФ. 2005. Т. 31, вып.

3. С.18-26.

40. Smirnov D.A., Vlaskin VS., Ponomarenko V.l. Estimation of parameters in one-dimensional maps from noisy chaotic time series // Phys. Lett. A. 2005. V. 336. P. 448-458.

41. Parlitz U. Estimating model parameters from time series by auto-synchronization// Phys. Rev. Lett. 1996. V. 76. P. 12321235.

42. Ибрагимов И.А., Хасьмшский РЗ. Асимптотическая теория оценивания. М., 1979.

43. Horbelt W. Maximum likelihood estimation in dynamical

systems: PhD thesis. University of Freiburg, 2001.

http://webber.nhvsik.nni-frciburg.de/-horbelt/diss/.

44. Безручко Б.П., Смирнов Д.А., Сысоев ИВ. Оценка параметров динамических систем по хаотическим временным рядам при наличии скры тых переменных // Изв. вузов. Прикладная нелинейная динамика. 2004. T.12, № 6.

45. Meyer R., Christensen N. Bayesian reconstruction of chaotic dynamical systems // Phys. Rev. E. 2000. V. 62. P. 35353542.

46. Davies M.E. Noise reduction schemes for chaotic time series // Physica D. 1994. V. 79. P.174-192.

47. Bremer C.L., Kaplan D.T. Markov chain Monte Carlo estimation of nonlinear dynamics from time series // Physica D. 2001. V. 160. P. 116-126.

48. Sitz A., Schwartz IJ., Kurths J., Voss H.U. Estimation of parameters and unobserved components for nonlinear systems from noisy time series // Phys. Rev. E. 2002. V. 66. 016210.

49. Swameve I., Muller T.G., Timmer J. et al. Identification of nucleocytoplasmic cycling as a remote sensor in cellular signaling by databased modeling // Proc. Natl. Acad. Sci. USA. 2003. V. 100. P. 1028-1033.

50. Horbelt W., Timmer J., Burner M.J. el al. Identifying physical properties of a CO2 laser by dynamical modeling of measured time series // Phys. Rev. E. 2001. V. 64. 016222.

51. Вапник B.H. Восстановление зависимостей по эмпирическим данным. М., 1979.

52. Akaike Н. A new look at the statistical identification model II IEEE Trans. Automatic Control. 1974. V. 19. P. 716-723.

53. Schwartz G. Estimating the order of a model // Annu. Stat. 1978. V. 6. P. 461-464.

54. Rissanen J. Stochastic complexity in statistical inquiry. Singapore, 1989. V. 15.

55. Judd K., Mees A.I. On selecting models for nonlinear time series // Physica D. 1995. V. 82. P. 426-444.

56. Aguirre L.A., Freitas U.S., Letellier C., Maquet J. Struc-ture-selection techniques applied to continuous-time nonlinear models//Physica I). 2001. V. 158. P. 1-18.

57. Voss H.U. Analysing nonlinear dynamical systems with nonparametric regression // Nonlinear dynamics and statistics / Ed. by A. Mess. Boston, 2001. P. 413-434.

58. Cimponeriu L., Rosenblum М., Pikovsky A. Estimation of delay in coupling from time series // Phys. Rev. E. 2004. V. 70. 046213.

59. Bezruchko B.P., Dikanev T.V., Smirnov DA. Role of transient processes for reconstruction of model equations from time series 11 Phys. Rev. E. 2001. V. 64.036210.

60. Безручко Б.П., Диканев T.B., Смирнов Д.А. Глобальная реконструкция модельных уравнений по реализации переходного процесса // Изв. вузов. Прикладная нелинейная динамика. 2001. Т. 9, Ка 3. С. 3-12.

61 .Янсон Н.Б., Павлов А.Н., Капитаниак 'Г., Анищенко B.C. Глобальная реконструкция по нестационарным данным // Письма в ЖТФ. 1999. Т. 25, вып. 10. С. 74-81.

62. Btinner M.J., Popp М., Meyer Th. et al. Recovery of scalar time-deiay systems from time series // Phys. Lett. A. 1996. V. 211. P. 345-349.

63. M.J. Bunner, M. Popp, Th. Meyer et al. Tool to recover scalar time-delay systems from experimental time series // Phys. Rev. E. 1996. V. 54. P. 3082-3085.

64. Burner M.J., Meyer Tit., Kittel A., ParisiJ. Recovery of the time-evolution equation of time-delay systems from time series // Phys. Rev. E. 1997. V. 56. P. 5083-5089.

65. Megger R., Biinner M.J., Kantz H., Giaquinta A. Identifying and modelling delay feedback systems // Phys. Rev. Lett. 1998. V. 81. P. 558-561.

66. Banner M.J., Ciqfini М., Giaquinta A. et al. Reconstruction of systems with delayed feedback: (1) Theory // Eur. Phys. J. D.

2000. V. 10. P. 165-176.

67. Banner M.J., Ciqfini М., Giaquinta A. et al. Reconstruction of systems with delayed feedback: (II) Applications // Eur. Phys. J. D. 2000. V. 10. P. 177-185.

68. Voss H.U., Kurths J. Reconstruction of non-linear time delay models from data by the use of optimal transformations // Phys. Lett. A. 1997. V. 234. P. 336-344.

69. Voss H.U., Kurths J. Reconstruction of nonlinear time delay models from optical data // Chaos, Solitons and Fractals. 1999. V. 10. P. 805-809.

70. Horbelt W., Timmer J., Voss H.U. Parameter estimation in nonlinear delayed feedback systems from noisy data // Phys. Lett. A. 2002. V. 299. P. 513-521.

71. Bezruchko B.P., Karavaev A.S., Ponomarenko VI., Prokhorov M.D. Reconstruction of time-delay systems from chaotic time series // Phys. Rev. F.. 2001. V. 64. 056216.

72. Пономаренко В.П., Прохоров М.Д. Реконструкция уравнений систем с двумя временами запаздывания по временным рядам // Письма в ЖТФ. 2004. Т. 30, вып. 22.

С. 23-30.

73. Пономаренко В.П., Прохоров М.Д., Караваев А.С., Безручко Б.П. Определение параметров систем с запаздывающей обратной связью по хаотическим временным реализациям // ЖЭТФ 2005. Т. 127, вып. 3. С. 515-527.

74. Безручко Б.П., Селезнев Е.П., Смирнов Д.А. Реконструкция уравнений неавтономного нелинейного осциллятора по временному ряду: модели, эксперимент // Изв. вузов. Прикладная нелинейная динамика. 1999. Т. 7, № 1.

C. 49-67.

75. Безручко Б.П., Смирнов Д.А. Метод восстановления уравнений с гармоническим внешним воздействием по временному ряду // Изв. вузов. Прикладная нелинейная динамика. 2001. Т. 9, № 2. С. 27-38.

76. Безручко Б.П., Селезнев Е.П., Смирнов Д.А., Сысоев И. В. Реконструкция моделей неавтономных систем с дискретным спектром воздействия // Письма в ЖТФ. 2003. Т. 29, вып. 19. С. 69-76.

77. Bezruchko В.P., Smirnov DA. Constructing nonautono-mous differential equations from a time series // Phys. Rev. E.

2001. V. 63. 016207.

78. Bezruchko B., Smirnov D., Dikanev Т., Sysoev /. Construction of dynamical model equations for nonautonomous systems from time series (peculiarities and special techniques) // Chaos and Its Reconstructions. N. Y.: Nova Science Publ., 2003. P. 215-243.

79. Takens F. Detecting strange attractors in turbulence // Lecture Notes in Mathematics: Dynamical Systems and Turbulence / Eds. D. Rang, L.S. Young, 1981. V. 898. P. 366-381.

80. Sauer Т., Yorke J.A., Casdagli M. Embedology // J. Stat. Phys. 1991. V. 65, № 3-4. P. 579-616.

81. Макаренко Н.Г. Эмбедология и нейропрогноз // Нейроинформатика-2003: Тр. V Всерос. науч.-техн. конф. М., 2003. Ч. 1.С. 86-148.

82. Gibson J.F., Farmer JD., Casdagli М., Eubank S. An analytic approach to practical state space reconstruction // Physica

D. 1992. V. 57. P. 1-30.

83. Fraser A.M., Swinney H.L. Independent coordinates for strange attractors from mutual information // Phys. Rev. A. 1986. V. 33. P. 1131-1140.

84. Liebert W., Schuster H.G. Proper choice the of time delay for the analysis of chaotic time series // Phys. Lett. A. 1989. V.

142. P. 107-111.

85. Eckmann J.P., Ruelle D. Ergodic theory of chaos and strange attractors // Rev. Mod. Phys. 1985. V. 57, № 3. P. 617-656.

86. Judd K., Mees A.I. Embedding as a modeling problem // Physica D. 1998. V. 120. P. 273-286.

87. Kennel M.B., Brown R., Abarbanel H.D.I. Determining embedding dimension for phase-space reconstruction using a geometrical construction // Phys. Rev. A. 1992. V. 45. P. 3403-3411.

88. Grassberger P., Procaccia I. Measuring the strangeness of strange attractors // Physica D. 1983. V. 9. P. 189-208.

89. Broomhead D.S., King G.P. Extracting qualitative dynamics from experimental data // Physica D. 1986. V. 20. P. 217-236.

90. Ланда П.С., Розенблюм М.Г. Сравнение методов конструирования фазового пространства и определения размерности аттрактора по экспериментальным данным // ЖТФ.

1989. Т. 59, № II. С. 1-8.

91. Павлов А.Н., Янсон Н.Б., Анищенко B.C. Применение статистических методов при решении задачи глобальной реконструкции // Письма в ЖТФ. 1997. Т. 23, вып. 8. С. 7-13.

92. Павлов А.Н., Янсон Н.Б., Капитаниак Т., Анищенко B.C. Реконструкция динамических систем по сигналам малой длительности // Письма в ЖТФ. 1999. Т. 25, вып. 11.

C. 7-13.

93. Dikanev Т., Smirnov D., Ponomarenko У., Bezruchko В. Three subproblems of global model reconstruction from time series and their peculiarities // Изв. вузов. Прикладная нелинейная динамика. 2003. Т. 11, № 3. С. 165-178.

94. C.asdagli М., Weigend A.S. Exploring the continuum between deterministic and stochastic modeling // Time Series Prediction: Forecasting the Future and Understanding the Past / Eds. N.A. Gerschenfeld, A.S. Weigend. N.Y.: Addison-Wesley, SF1 Studies in the Science of Complexity: Proceedings, 1993. V. XV. P. 347-366.

95. Jimenez J., Moreno J.A., Ruggeri G.J. Forecasting on chaotic time series: a local optimal linear-reconstruction method // Phys. Rev. A. 1992. V. 45. P. 3553-3558.

96. Sauer T. Time series prediction by using delay coordinate embedding // Time Series Prediction: Forecasting the Future and Understanding the Past / Eds. N.A. Gerschenfeld, A.S. Weigend. N.Y.: Addison-Wesley, SFI Studies in the Science of Complexity: Proceedings, 1993.V. XV. P. 175-193.

97. Kostelich E.J., Lathrop D.P. Time series prediction by using the method of analogues // Time Series Prediction: Forecasting the Future and Understanding the Past / Eds. N.A. Gerschenfeld, A.S. Weigend. N.Y.: Addison-Wesley, SFI Studies in the Science of Complexity: Proceedings, 1993.V. XV. P. 283-295.

98. Smith L.A. Does a meeting in Santa Fe imply chaos? // Time Series Prediction: Forecasting the Future and Understanding the Past / Eds. N.A. Gerschenfeld, A.S. Weigend. N.Y.: Addison-Wesley, SFI Studies in the Science of Complexity: Proceedings, 1993.V. XV. P. 323-343.

99. Kugiumtzis D., Lingjaerde O.C., Christophersen N. Regularized local linear prediction of chaotic time series // Physica

D. 1998. V. 112. P. 344-360.

100. Schroer C., Sauer Т., Ott E., Yorke J. Predicting chaos most of the time from embeddings with self-intersections // Phys. Rev. Lett. 1998. V. 80. P. 1410-1413.

101. Small М., Judd K. Comparisons of new nonlinear modeling techniques w'ith applications to infant respiration // Physica

D. 1998. V. 117. P. 283-298.

102. Judd K., Small M. Towards long-term prediction // Physica D. 2000. V. 136. P. 31-44.

103. Small М., Judd K., Mees A. Modelling continuous processes from data // Phys. Rev. E. 2002. V. 65. 046704.

104. Weigend A., Huberman B., Rumelhart D. Predicting the future: a connectionist approach // Intern. J. Neur. Comput. 1990. V. 1. P. 193-209.

105. Gerschenfeld N.A., Weigend A.S. (eds.) The future of time series: learning and understanding // Time Series Prediction: Forecasting the Future and Understanding the Past, N.Y.: Addison-Wesley, SFI Studies in the Science of Complexity: Proceedings, 1993.V. XV. P. 1-70.

106. Wan E.A. Time series prediction by using a connectionist network with internal delay lines // Time Series Prediction: Forecasting the Future and Understanding the Past / Eds. N.A. Gerschenfeld, A.S. Weigend. N.Y.: Addison-Wesley, SFI Studies in the Science of Complexity: Proceedings, 1993.V. XV. P. 195-217.

107. Press H., Teukolsky S.A., Vetterling W.T., Flannery B.P. Numerical Recipes in C. Cambridge: Cambridge University Press, 1992.

108. Gouesbet G., Letellier C. Global vector-field approximation by using a multivariate polynomial Z, approximation on nets // Phys. Rev. E. 1994. V. 49. P. 4955-4972.

109. Letellier C., Sceller L. Le, Dutertre P. et al. Topological characterization and global vector field reconstruction of an experimental electrochemical system // J. Phys. Chem. 1995. V. 99. P. 7016-7027.

110. Letellier C., Sceller L. Le, Marechal E. et al. Global vector field reconstruction from a chaotic experimental signal in copper electrodissolution // Phys. Rev. E. 1995. V. 51. P. 4262-4266.

111. Letellier С., Sceller L. Le, Gouesbet G. et al. Recovering deterministic behavior from experimental time series in mixing reactor // AIChE J. 1997. V. 43, №. 9. P. 2194-2202.

112. l,etellier C., Maquet J., Labro H. et a/. Analyzing chaotic behavior in a Belousov-Zhabotinskyi reaction by using a global vector field reconstruction // J. Phys. Chem. 1998. V. 102. P.10265-10273.

113. Грибков Д.А., Грибкова В В., Кравцов Ю.А. и др. Восстановление структуры динамической системы по временным рядам // Радиотехника и электроника. 1994. Т. 39, вып. 2. С. 269-277.

114. Грибков Д.А., Грибкова В.В., Кравцов Ю.А. и др. Построение по экспериментальным данным модели систем стабилизации резонансной частоты и температуры секции линейного ускорителя электронов // Вестн. Моск. ун-та, 1994. Сер. 3. Т. 35, № 1. С. 96-98.

115. Янсон Н.Б., Анищенко В С. Моделирование динамических систем по экспериментальным данным // Изв. вузов. Прикладная нелинейная динамика. 1995. Т. 3, № 3. С. 112-121.

116. Янсон Н.Б., Павлов А.П., Баланов А.Г., Анищенко В С. Задача реконструкции математической модели применительно к электрокардиограмме // Письма в ЖТФ. 1996. Т. 22, вып. 16. С. 57Ч>2.

117. Павлов А.Н., Янсон Н.Б. Применение методики реконструкции математической модели к электрокардиограмме // Изв. вузов. Прикладная нелинейная динамика. 1997. Т. 5, № I.C. 93-108.

118. Анищенко B.C., Янсон Н.Б., Павлов А.Н. Может ли режим работы сердца здорового человека быть регулярным? // Радиотехника и электроника. 1997. Т. 42, выи. 8. С. 1005-1010.

119. Янсон Н.Б. Реконструкция динамических систем по экспериментальным данным: Дне. ... канд. физ.-мат. наук. Саратов, 1997.

120. Stark J., Broomhead D.S., Davies М., Huke J. Takens embedding theorem for forced and stochastic systems // Nonlinear Analysis. Theory, Methods, and Applications. Proc. of 2nd Congress on Nonlinear Analysis. Elsevier Science Ltd.,

1997. V. 30, № 8. P. 5303-5314.

121. Brown R., Rulkov N.F., Tracy E.R. Modeling and synchronizing chaotic systems from time-series data // Phys. Rev.

E. 1994. V. 49. P. 3784-3800.

122. Анищенко B.C., Янсон Н.Б., Павлов А.Н. Об одном методе восстановления неоднородных аттракторов // Письма в ЖТФ. 1996. Т. 22, вып. 7. С. 1-6.

123. Janson N.B., Pavlov A.N., Anishchenko У.S. One method for restoring inhomogeneous attractors // Intern. J. of Bifurcations and Chaos. 1998. V. 8, № 4. P. 825-833.

124. Gabor D. /I J. IEEE (London). 1946. V. 93. P. 429.

125. Lachaux J.P., Rodriguez E., M. Quyen Le van et al. // Intern. J. Bifurcation Chaos. 2000. V. 10. P. 2429.

126. Cao L., Mees A.I., Judd K. Dynamics from multivariate time series // Physica D. 1998. V. 121. P. 75-88.

127. Letellier C, Macquet J., Sceller L. Le et al. On the nonequivalence of observables in phase space reconstructions from recorded time series // J. Phys. A: Math. Gen. 1998. V. 31. P. 7913-7927.

128. Letellier С., Aguirre L.A. Investigating nonlinear dynamics from time series: The influence of symmetries and the choice of observables // Chaos. 2002. V. 12. P. 549-558.

129. Smirnov D.A., Bezruchko B.P., Seleznev Ye.P. Choice of dynamical variables for global reconstruction of model equations from time series // Phys. Rev. E. 2002. V. 65. 026205.

130. Смирное Д.А. Выбор переменных и структуры уравнений при динамическом моделировании по хаотическим временным рядам (неавтономные системы): Дис. ... канд. физ.-мат.наук, Саратов, 2001.

131. Безручко Б.П., Диканев Т.В., Смирнов Д.А. Тестирование на однозначность и непрерывность при глобальной реконструкции модельных уравнений по временным рядам // Изв. вузов. Прикладная нелинейная динамика. 2002. Т. 10, №4. С. 69-81.

132. Nonlinear Modeling and Forecasting, SFI Studies in the Sciences of Complexity: Proc./ Eds. M. Casdagli, S. Eubank. N.Y.: Addison-Wesley, 1992. V. XII.

133. Time Series Prediction: Forecasting the Future and Understanding the Past, SFI Studies in the Science of Complexity: Proc. / Eds. N.A. Gerschenfeld, A.S. Weigend. N.Y.: Addison-Wesley, 1993. V. XV.

134. Anosov O.L., Butkovskii O.Ya., Kravtsov Yu.A., Pro-topopescu V.A. Predictability of linear and nonlinear autoregressive models // Physics of Vibrations. 1999. V. 7, № 2. P. 61-75.

135. Schreiber T. Detecting and Analyzing Nonstationarity in a Time Series Using Nonlinear Cross Predictions I! Phys. Rev. Lett. 1997. V. 78. P. 843-846.

136. Schreiber T. Interdisciplinary application of nonlinear time series methods // Physics Reports. 1999. V. 308. P. 3082.

137. Hively L.M., Gaily P.C., Protopopescu V.A. Detecting dynamical change in nonlinear time series // Phys. Lett. A.

1999. V. 258. P. 103-114.

138. Gribkov D., Gribkova V. Learning dynamics from nonsta-tionary time series: analysis of electroencephalograms // Phys. Rev. E. 2000. V. 61. P. 6538-6545.

139. Dikanev Т., Smirnov D., Wennberg R. et al. EEG nonstationarity during intracranially recorded seizures: statistical and dynamical analysis // Clinical Neurophysiology. 2005.V. 116. P. 1796-1807.

140. Аносов О.Л., Бутковский О.Я., Исакевич В.В., Кравцов Ю. А. Выявление нестационарностей из случайноподобных сигналов динамической природы // Радиотехника и электроника. 1995. Т. 40, № 2. С. 255.

141. Аносов О.Л., Бутковский О.Я., Кравцов Ю.А. Минимаксная процедура идентификации хаотических систем по

наблюдаемой временной последовательности // Радиотехника и 'электроника. 1997. Т. 42, вып. 3. С. 313-319.

142. Rosenblum M.G., Pikovsky A.S. Detecting direction of coupling in interacting oscillator // Phys. Rev. E. 2001. V. 64. R045202.

143. Rosenblum M.G., Cimponeriu I.., Bezerianos A. et al. Identification of coupling direction: Application to cardiorespiratory interaction // Phys. Rev. E. 2002. V. 65. 041909.

144. Bezruchko B., Ponomarenko V, Rosenblum M.G., Pikovsky A.S. Characterizing direction of coupling from experimental observations // Chaos. 2003. V. 13. P. 179-184.

145. Smirnov D., Bezruchko B. Estimation of interaction strength and direction from short and noisy time series // Phys. Rev. E. 2003. V. 68. 046209.

146. Smirnov D.A., Bodrov M.B., Velazquez J.L. Perez et al. Estimation of coupling between oscillators from short time series via phase dynamics modeling: limitations and application to EEG data// Chaos. 2005. V. 15. 024102.

147. Smirnov D.A., Andrzejak R.G. Detection of weak directional coupling: phase dynamics approach versus state space approach // Phys. Rev, E. 2005 (in press).

148. Фейгин A.M., Мольков Я.И., Мухин Д.Н., Лоскутов Е.М. Прогноз качественного поведения динамической системы по хаотическому временному ряду // Изв. вузов. Радиофизика. 2001. Т. 44, №5-6. С. 376-399.

149. Feigin A.M., Molkov Y.I., Mukhin D.N., Loskutov E.M. Investigation of nonlinear dynamical properties by the observed complex behavior as a basis for construction of the dynamical models of atmospheric photochemical systems // Faraday Discussions. 2002. V. 120. P. 105-123.

150. Фейгин A.M. Нелинейно-динамические модели атмосферных фотохимических систем: Дис. ... д-ра физ.-мат. наук, Н. Новгород, 2002.

151. Мольков Я.И., Фейгин А.М. Прогноз качественного поведения динамической системы по хаотическому временному ряду // Нелинейные волны’2002. Н. Новгород, 2003. С. 34-53.

152. Anishchenko VS., Pavlov A.N. Global reconstruction in application to multichannel communication // Phys. Rev. E.

1998. V. 57. P. 2455-2457.

153. Анищенко B.C., Павлов A.H., Янсон Н.Б. Реконструкция динамических систем в приложении к решению задачи защиты информации // ЖТФ. 1998. Т. 68, № 12. С.1-8.

154. Павлов А.Н. Реконструкция динамических систем и ее приложения: Дис. ... канд. физ.-мат. наук. Саратов, 1998.

155. Ponomarenko VI., Prokhorov M.D. Extracting information masked by the chaotic signal of a time-delay system // Phys. Rev. E. 2002. V. 66. 026215.

156. Пономаренко В.И., Прохоров М.Д. Кодирование и извлечение информации, замаскированной хаотическим сигналом системы с запаздыванием // Радиотехника и электроника. 2004. Т. 49, № 9. С. 1098-1104.

157. Грибков ДА., Грибкова В.В., Кузнецов Ю.И. Восстановление внешнего воздействия по реализации одной переменной автостохастической системы // Вестн. Моск. унта. 1995. Сер. 3. Т. 36, № 1. С. 76-78.

158. Kctdlke J. Classification of highly noisy signals using global dynamical models // Phys. Lett. A. 1995. V. 203. P. 196-202.

159. Kadtke J., Kremliovsky M. Estimating statistics for detecting determinism using global dynamical models // Phys. Lett. A. 1997. V. 229. P. 97-106.

160. Kremliovsky M., Kadtke J., Inchiosa M, Moore P. Characterization of dolphin acoustic echo-location data using a dynamical classification method // Intern. J. of Bifurcations and Chaos. 1998. V. 8. P. 813-824.

161. Small M., Judd K., Mees A.I. Testing time series for nonlinearity // Statistics and Computing. 2001. V. 11. P. 257-268.

162. Kostelich E.J., Yorke J.A. Noise reduction in dynamical systems// Phys. Rev. A. 1988. V. 38. P. 1649-1652.

163. Kostelich E.J., Yorke J.A. Noise reduction: finding the simplest dynamical system consistent with data // Physica D.

1990. V. 41. P. 183-196.

164. Hammel S.M. A noise reduction for chaotic systems // Phys. Lett. A. 1990. V. 148. P. 421-128.

165. Schreiber 7', Grassberger P. A simple noise reduction method for real data // Phys. Lett. A. 1991. V. 160. P. 411-418.

166. Farmer J.D., Sidorowich J.J. Optimal shadowing and noise reduction // Physica D. 1991. V. 47. P. 373-392.

167. Kostelich E.J. Problems in estimating dynamics from data //Physica D. 1992. V. 58. P. 138.

168. Davies M.E. Noise reduction by gradient descent // Intern. J. Bif. Chaos. 1992. V. 3. P. 113-118.

169. Sauer T. A noise reduction method for signals from nonlinear systems // Physica D. 1992. V. 58. P. 193-201.

170. Kostelich E.J., Schreiber T. Noise reduction in chaotic time series data: a survey of common methods // Phys. Rev. F„

1993. V. 48. P. 1752-1763.

171. DawsonS., Grebogi C.. Sauer T., Yorke J.A. Obstructions to shadowing when a Lyapunov exponent fluctuates about zero // Phys. Rev. Lett. 1994. V. 73. P. 1927-1930.

172. Davies M.E. Noise reduction schemes for chaotic time series // Physica D. 1994. V. 79. P. 174-192.

173. Megger R., Kantz H., Schmuser F. et al. Dynamical properties of a ferroelectric capacitors observed through nonlinear time series analysis // Chaos. 1998. V. 8. P. 727-754.

174. Timmer J., Rust H., Horbelt IV. Voss II. U. Parametric, nonparametric and parametric modelling of a chaotic circuit time series // Phys. Lett. A. 2000. V. 274. P. 123-130.

175. Bezruchko B.P., Seleznev Ye.P., Smirnov D.A. On the possibility of constructing a bifurcational diagram from an experimental time series // Proc. Intern. Symp. NOLTA Dresden, Germany, 2000. V. 2. P. 775-778.

176. Sysoev I.V., Smirnov D.A., Seleznev Ye.P., Bezruchko B.P. Reconstruction of nonlinear characteristics and equivalent parameters from experimental time series // Proc. 2nd IEEE Intern. Conf. on Circuits and Systems for Commun. Moscow, Russia, 2004. P. 140.

177. Voss H. U., Schwache A., Kurths J., Mitschke F. Equations of motion from chaotic data: A driven optical fiber ring resonator // Phys. Lett. A. 1999. V. 256. P. 47-54.

178. Parlitz U., Mayer-Kress G. Predicting low-dimensional spatiotemporal dynamics using discrete wavelet transforms // Phys. Rev. E. 1995. V. 51. P. R2709-R2711.

179. Voss H.U., Burner M., Abel M. Identification of continuous, spatiotemporal systems // Phys. Rev. E. 1998. V. 57. P. 2820-2823.

180. Bar M., Megger R., Kantz H. Fitting partial differential equations to space-time dynamics // Phys. Rev. E. 1999. V. 59. P. 337-343.

181. Parlitz U., Merkwirth C. Prediction of spatiotemporal time series based on reconstructed local states // Phys. Rev: Lett.

2000. V. 84. P. 1890-1893.

182. Sitz A., Kurths J., Voss II.U. Identification of nonlinear spatiotemporal systems via partitioned filtering // Phys. Rev. E.

2003. V. 68. 016202.

183. Timmer J. Parameter estimation in nonlinear stochastic differential equations // Chaos, Solitons and Fractals. 2000. V. 11. P. 2571-2578.