CC BY
31
УДК: 681.5.015:311.1 ГРНТИ: 50.03.03 DOI: 10.15643/^аепйа.2018.01.003
МЕТОДЫ СТАТИСТИЧЕСКОЙ ОБРАБОТКИ ДАННЫХ В ЗАДАЧАХ ИДЕНТИФИКАЦИИ ДИНАМИЧЕСКИХ СИСТЕМ
Д. И. Битковский, А. В. Моторко, А. Р. Д. Алалван
Сибирский федеральный университет
Россия, 660074 г. Красноярск, ул. Академика Киренского 26/1 ЕЗ Битковский Дмитрий Игоревич - [email protected]
В данной статье рассматривается проблема идентификации динамических систем. Приводится инфографика, описывающая количество научных работ на заданную тему. Для большего понимания даётся определение понятий «идентификация динамической системы» и «динамическая система». Далее обозначается классификация методов для решения задачи идентификации: аналитические и компенсационные; статистические и нестатистические; градиентные и не градиентные; поисковые и беспоисковые. Более подробно описываются методы, связанные со статистической обработкой данных: метод наименьших квадратов; обобщённый метод наименьших квадратов; взвешенный метод наименьших квадратов; метод максимального правдоподобия; байесовские методы; методы регуляризации. Для некоторых методов есть изображения для наглядности работы. Так же объясняется почему необходимо использовать именно эти методы для идентификации динамической системы и нахождения конечного результата.
Ключевые слова: идентификация, динамические системы, методы статистический обработки, метод наименьших квадратов, обобщённый метод наименьших квадратов, взвешенный метод наименьших квадратов, метод максимального правдоподобия, байесовские методы, методы регуляризации.
METHODS OF STATISTICAL DATA PROCESSING IN PROBLEMS OF IDENTIFICATION OF DYNAMIC SYSTEMS
D. I. Bitkovski, A. V. Motorko, A. R. D. Alalvan
Siberian Federal University
26/1 Akademik Kirensky St., 660074 Krasnoyarsk, Russia El Bitkovski Dmitri - [email protected]
In this article the problem of identifying dynamic systems is considered. Here is provided infographic which describing the numbers of scientific works on a given topic. For a better understanding definition of the terms "dynamic system identification" and "dynamic system" is given. The classification of methods for solving problems: analytical and compensatory; static and non-static; gradient and non-gradient; search and non-search. In more details described the methods associated with statistical data processing: ordinary least squares; generalized least squares; weighted least squares; maximum likelihood estimation; Bayesian methods; regularization methods. For some methods, there are images for clarity of work. It also explains why it is necessary to use these methods to identify the dynamic system and deliver the final result.
Keywords: identification, dynamic systems, Methods of statistical data processing, ordinary least squares, generalized least squares, weighted least squares, maximum likelihood estimation, Bayesian methods, regularization methods.
В наше время большое внимание уделяется процессам идентификации динамических систем. Связано это с тем, что они играют большую роль в технических науках. Написано множество различных научных работ. Примерное количество работ, содержащих методы, о которых пойдёт речь в нашей статье, за 2014-2017 гг. можно увидеть на рис. 1. Информация получена из библиографической базы данных Scopus.
3545
ф Метод н аименыинк квадратов{М НК) 0 Обобщенный МНК Взвешенный МНК ф Метод максимально™ правдоподобий ф Байесовский метод ф Мннвдрогулйрн]ацин
Рисунок 1. Инфографика работ с упоминанием методов статистической обработки данных
Одним из примеров работы идентификации динамических систем описан в диссертации [1] и статье [2]. Так как задача идентификация существует уже очень давно, методов для её решения за это время появилось большое количество. Все они в свою очередь классифицируются по различным принципам. К важным принципам относятся те, с помощью которых методы можно разделить на группы: аналитические и компенсационные; статистические и нестатистические; градиентные и не градиентные; поисковые и беспоисковые [3]. Несмотря на большое количество методов решения задач, идентифицировать абсолютно любую систему не сможет ни один из них. Связано это с тем, что у каждого метода есть своя область применения. В данной статье речь пойдёт о методах статистической обработки данных в решении задач идентификации динамических систем.
Для начала необходимо определиться, с такими понятиями как динамическая система и идентификация этих систем. Динамическая система - это множество элементов, для каждого из которых существует зависимость его положения в фазовом пространстве от времени. То есть, пара-
метры системы изменяются во времени. Идентификация систем - это совокупность методов для построения математической модели динамической системы по данным, полученным во время наблюдения [3]. Более подробно о каждом из этих понятий можно узнать из работ [4] и [5]. С помощью них также можно ознакомиться с процедурами идентификации, которые использовались ещё в середине XX века.
Собственно, перейдём к самим статистическим методам. Они основаны на использовании статистических характеристик сигналов, которые применяются для идентификации. При этом, конечный результат является оптимальным, так как достигается в виде среднего значения. С методами оптимизации характеристик, которые тесно взаимодействуют с идентификацией систем можно ознакомиться в работе [6]. Статистическим методом пользуются в том случае, если есть вероятность наличия случайных помех. Теперь перечислим некоторые из них и рассмотрим каждый более подробно:
1) метод наименьших квадратов;
Методом наименьших квадратов (далее МНК) называется математический метод для решения задач, главным принципом которого является минимизации суммы квадратов отклонений функции от искомых переменных [7]. Продемонстрируем работу данного метода. Пусть имеется какое-то количество значений т некоторой переменной у, полученных, например, в результате наблюдений или эксперимента. Также имеется определённое количество параметров х, соответствующих значениям у. Задача будет заключаться в том, чтобы по значениям переменных х и у с максимально возможной точностью оценить функцию /(х,Ь), которая известна с точностью до параметров Ь, с неизвестными значениями. То есть, необходимо найти наиболее подходящие значения параметров Ь, благодаря которым значение функции максимально приблизится к заданным значениям у. Получается, решение задачи сводится к переопределению системы уравнений относительно Ь:
/(х,Ь)=у1, t = 1, ..., т
Проводя регрессионный анализ, используются вероятностные модели, благодаря которым выражается зависимость между переменными:
у=/(х,,Ъ)+е1
где е1 - случайные ошибки модели. При использовании параметра е, предполагается, что в задаче могут быть некие отклонения наблюдаемых значений у от значений функции. И задача МНК состоит в том, чтобы определить такие параметры Ь, при которых сумма квадратов отклонений будет минимальной
( т 2 Л
Ъ = тт- /(х,ь)) I
Графическое отображение работы МНК можно наблюдать на рисунке 2. На нём изображена прямая, проведённая через точки так, чтобы отклонение от них было максимально приближенно к истинному значению.
2) обобщённый метод наименьших квадратов;
Обобщённый МНК также является математическим
методом, с помощью которого можно оценить параметры регрессионных моделей. ОМНК является обобщени-
Рисунок 2. График МНК
ем МНК. Задача с помощью этого метода будет решаться следующим образом. Имеется обобщённая сумма квадратов остатков регрессии, которая выражается следующей формулой -еТШе, где е - вектор остатков, Ш - симметрическая положительно определённая весовая матрица. Необходимо минимизировать эту сумму. Продемонстрируем работу метода ОМНК. Первым делом симметрическая положительная определённая матрица раскладывается как V=PTP, где Р является невырожденной квадратной матрицей. Обобщённая сумма квадратов после разложения выражается как сумма квадратов преобразованных остатков (Ре)ТРе. Если же регрессия линейная, то есть выражается формулойу=ХЪ+е, минимизируется другая величина:
(у* -Х*Ъ)Т(ул* -Х*Ъ)
Если говорить в общем, то суть ОМНК описывается такими действиями - сначала необходимо произвести линейное преобразование исходных данных, а после применить к ним обычный МНК.
Если же приходится работать с обратной ковариационной матрицей Ш случайных ошибок е, то иначе будет себя вести и преобразование Р [7]. В результате этого преобразование окажется, что модель удовлетворяет классическим предположениям (Гаусса - Маркова). Следовательно, для наиболее эффективной оценки параметров в классе линейно несмещённых оценок, стоит применят обычный МНК. Но, так как исходная и преобразованная модели обладают одинаковыми параметрами, верным является утверждение о том, что в классе линейных несмещённых оценок, оценки ОМНК являются наиболее эффективными. Формула будет иметь вид:
Ъ=(ХТ V-1 X)-1 ХТ V-1 у
Ковариационная матрица этих оценок равна:
у(Ъ)=(ХТ V-1 Х)1
3) взвешенный метод наименьших квадратов;
Взвешенный МНК используется в том случае, когда имеющаяся весовая матрица является диагональной. Работа с этим методом напоминает работу с другими МНК, но с некоторыми изменениями. Так, при использовании этого метода необходимо минимизировать взвешенную сумму остатков модели. Сумма будет являться взвешенной потому, что во время эксперимента все наблюдения получают свой «вес». Его значение вычисляется по формуле:
t et
e we = L,=1-2
^ t
Далее, происходит что-то подобное действиям в работе с ОМНК. К взвешенным данным мы применяем обычный МНК. Но для того, чтобы эти данные стали взвешенными, необходимо их преобразовать так называемым взвешиванием наблюдений. Работает это таким образом. Полученный во время наблюдений результаты необходимо разделить на величину, которая является пропорциональной значению отклонения случайных ошибок.
4) метод максимального правдоподобия;
Метод максимального правдоподобия - это один из способов вычисления неизвестного параметра, используя максимизирование функции правдоподобия. Метод базируется на допущении о том, что вся необходимая информация о статистической выборке находится в функции правдоподобия.
Допустим, что Х - дискретная случайная величина, которая в результате k опытов приняла значения:
Х1, Х2, Х3, .'■, Хк
Пусть у нас имеется вид закона распределения СВ, но нам не известен параметр Г. Обозначим вероятность того, что случайная величина Х приняла некоторое значение х. черезр(х,, Г).
Тогда функцией правдоподобия дискретной СВ Х будет являться следующая функция:
Ь(х 1 Хк Г)=р(хг Г)Р(ху Г).-Р(хк; Г)
Для оценки параметра Г возьмём такое его значение Г* = Г* (х1, х2, ..., хк) при котором функция правдоподобия принимает максимальное значение, Г* называют оценкой максимального правдоподобия (МПП-оценкой).
Максимум находим по обычному алгоритму:
1. Ищем производную
d (InL)
dt
2. Приравниваем полученную производную к нулю
d (InL)
dt
= 0
ми являются методы, полученные в результате регулярных попыток сформулировать и решить статистические проблемы на основе теоремы Байеса.
Теорема Байеса-это одна из ведущих теорем элементарной теории вероятностей, позволяющая вычислить вероятность какого-либо события, учитывая наличие другого статистически взаимосвязанного с ним события.
3. Из уравнения выше находим критическую точку Г*
й2 (Ы)
4. Находим следующую производную —Ц—'-
йГ
Если 2-я производная при Г* принимает значение со знаком минус, тогда точка Г* является точкой максимума.
Плюсом данного метода является то, что он эффективен даже в случаях небольшой выборки. Недостаток метода заключается в том, что иногда придется проводить объемные и сложные вычисления.
5) байесовские методы;
На самом деле точного и единогласного определения байесовских методов еще не существует. Также нет никакой классификации либо инструкции, следуя которым можно было бы установить принадлежность метода к данной группе. Насчёт этого существует множество различных мнений как в теоретическом, так и в практическом аспектах. Но мы можем отметить некоторые общие категории или положения, опираясь на утверждение, что байесовскими метода-
Рисунок 3. Основная Байесовская парадигма
Уникальность байесовской парадигмы заключается в том, что еще до того, как будут получены данные, мы рассматриваем возможные модели и присваиваем им соответствующие вероятности [9]. После того, как мы получили данные, теорема Байеса открывает нам возможность рассчитать новые, более точные вероятности для каждой возможной модели, учитывая полученную информацию. Первоначальные вероятности принято называть априорными вероятностями, а последующие - апостериорными.
6) Регуляризация в статистике - это способ добавления некоторых дополнительных как качественных, так и количественных априорных распределений на изначальные параметры модели.
Одним из самых распространенных методов является регуляризация Тихонова.
Концепция регуляризации базируется на замене изначальной неправильно поставленной задачи на задачу о минимизации следующей функции [10]:
О(У, Л) = \ АУ - В \ + Л\ Y - Y0 \
где Л - малый положительный параметр регуляризации, который нужно подобрать некоторым способом. Заметим, что, если брать на рассмотрение не дискретную, а непрерывную задачу (т. е. профиль у(х) вместо вектора У), то О (у(х), Л) будет являть собой не функцию, а функционал, который принято называть функционалом Тихонова.
Минимизируя функцию О(У, Л), можно найти регуляри-зованное решение У (А), находящееся в зависимости от параметра Л. В формуле выше хорошо показан его смысл: при малых Л ~ 0 задача нахождения функционала близка к (неправильно поставленной) изначальной задаче, а при больших А, проблема поставлена правильно, но ее решение далеко от решения исходной обратной задачи. А именно, чем больше параметр регуляризации, тем ближе решение к априорной оценке У0.
После знакомства со всеми методами может возникнуть логичный вопрос: «Почему для получения результата нель-
зя воспользоваться, допустим, обыкновенным средним арифметическим?». Ответ крайне прост и уже прозвучал перед описанием методов. Всё дело в том, что полученные во время эксперимента данные будут обладать погрешностью. И чтобы эту погрешность исключить или сделать её максимально незначительно используют описанные нами методы.
В заключение хотелось бы отметить, что в работе приведены далеко не все статистические методы для решения задач идентификации динамических систем. Но мы постарались обратить внимание на наиболее популярные и используемые из них и объяснить почему необходимо их использовать. Также хотелось бы добавить, что существует большое количество программного обеспечения, которое способно графически отображать работу методов и строить модели. С ними можно ознакомиться в работах [11] и [12].
ЛИТЕРАТУРА
1. Буштрук Т.Н., Буштрук А.Д., Евдокимов И.В. Метод идентификации моделей фильтр Заде // Современные информационные технологии. 2004. № S1. С. 122-125.
2. Евдокимов И.В. Процедура идентификации как этап создания систем управления и принятия решений // Проблемы социально-экономического развития Сибири. 2012. №4. С. 14-18.
3. Гареева Р.Г. Идентификация динамических объектов: методические рекомендации по выполнению лабораторных работ и расчетного задания по курсу «Основы автоматического управления». Бийск: Изд-во Алт. гос. техн. ун-та, 2008. 28 с
4. Евдокимов И.В. Математическое и программное обеспечение идентификации нелинейных динамических объектов
при использовании суммы гармонических сигналов: автореф. дис. ... канд. техн. наук. Братск: БрГУ, 2006. 17 с.
5. Евдокимов И.В. Сумма гармонических сигналов с постоянной составляющей как тестирующее воздействие в одном методе активной идентификации // Труды Братского государственного университета. Серия: Естественные и инженерные науки. 2005. Т. 1. С. 39-41.
6. Evdokimov I.V., Markomenko A.S., Konstantinov V.I., Zagrebin V.A., Maksimov A.E. The Decision of the Traveling Salesman Problem in Two Different Ways: "Hungarian Method" and "The Method of Branches and Borders" // Integration of the Scientific Community to the Global Challenges of Our Time": materials of the II international scientific-practical conference. In three volumes. Vol. I. Osaka, Japan: Regional Academy of Management, 2017. Pp. 294-298.
7. Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика. Начальный курс. М.: Издательство «ДЕЛО», 2004. С. 41.
8. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. Книга 1. В 2-х кн. М.: Финансы и статистика, 1986. 145 c.
9. Теорема Байеса. URL: https://www.wikiplanet.dick/enciclopedia/ru/ Теорема_Байеса.
10. Регуляризация Тихонова. URL: http://physics.herzen.spb.ru/ library/03/02/mcad12/Index12-4.htm.
11. Евдокимов И.В., Михалев А.С., Отто А.М. Применение Matlab System Identification Toolbox для построения математических моделей класса фильтр Заде // Системы. Методы. Технологии. 2017. № 3(35). С. 64-70.
12. Ильюшин И.А., Евдокимов И.В. Программное обеспечение идентификации экономических нелинейных динамических систем в классе блочно-ориентированных моделей // Современные информационные технологии. 2016. №23(23). С. 21-24.
Поступила в редакцию 01.12.2017
