CC BY
134
УДК 519.254 + 004.93'14 ББК 3.32.965.32.965.9
СТРУКТУРНАЯ ИДЕНТИФИКАЦИЯ СЛОЖНЫХ ОБЪЕКТОВ УПРАВЛЕНИЯ НА БАЗЕ МЕТОДОВ КУСОЧНОЙ АППРОКСИМАЦИИ 1
Дорофеюк Ю. А.
(Учреждение Российской академии наук Институт проблем управления РАН, Москва)
Решается задача построения модели функционирования сложного объекта с помощью алгоритмов структурноклассификационного анализа и кусочной аппроксимации. Предлагается два подхода к решению этой задачи - при помощи итерационных алгоритмов, реализующих вариационный подход к задачам кусочной аппроксимации, и двухэтапных алгоритмов, в которых процессы структуризации пространства входных параметров и построения локальных регрессионных моделей разделены.
Ключевые слова: классификационный анализ данных,
структурная идентификация, кусочная аппроксимация сложных зависимостей, статистика Фишера-Чоу.
1. Постановка задачи
В работе для простоты рассматривается статическая модель функционирования сложного объекта как модель зависимости выходного показателя у от вектора входных показателей
1 Работа выполнена при частичной поддержке РФФИ, проекты №08-07-00347-а, №10-07-00210-а.
2 Юлия Александровна Дорофеюк, научный сотрудник
(ёого/еуик[email protected]).
(1) у = ¥(х), х = (х(1),...,х(к)) є X с Я*.
Такая модель строится по выборке из N векторов размерности (к + 1)
(2) (у,,х,) = (у,,х»1,..,х?)) є X = К**1, , = 1,...,N,
получаемых в режиме нормальной эксплуатации идентифицируемого объекта. Без особого труда можно показать, что предлагаемый далее подход может использоваться также для идентификации динамической модели достаточно общего вида
(3) у(,) = ¥[х(,), х(, -1), х(, - 2), ..., х(, - т)],
где т - «глубина памяти» динамической модели. Другими словами, различие моделей (1) и (3) состоит только в размерности пространства входов X, которая увеличивается для (3) до кт.
За критерий качества идентификации, как обычно, принимается среднеквадратичное отклонение выходного параметра у от аппроксимационной модели (функции аппроксимации):
(4) J = {[у - ¥( х)]2 р( х) дх,
X
где р(х) - функция плотности распределения вероятности в пространстве X. Поставленная задача может быть решена при помощи классических статистических методов только в простых случаях. Например, если известно, что ¥(х) принадлежит некоторому параметрическому классу функций ¥(х, а), то соответствующая модель ¥ (х) также может быть выбрана в этом классе ¥(х, а) . В этом случае задача сводится к оценке вектора а по имеющейся выборке наблюдений (2).
Однако в прикладных задачах информация подобного типа часто отсутствует. Более того, сложность функции ¥(х) не позволяет использовать классические методы математической статистики. Тем не менее, было замечено, что сложная во всем пространстве X функция ¥(х) может быть представлена в виде совокупности более простых «кусков», определённых на областях Б}-. А именно, предлагается функциональный преобразователь ¥(х) (идентифицируемую модель) представлять в виде:
г [1, если х е В ,
(5) ¥(х) = ^£] (х) (х), е. (х) = <{ 1
1=1 [0, если х £В;.;
где г - число областей (классов); е.(х) — характеристические функции областей разбиения (классификации)
(6) Н = {В. е X, ив; = х}.
1=1
Такое представление модели является основой метода кусочной аппроксимации. В этом случае аппроксимационная модель может быть представлена в виде
(7) ¥(х) = 2 е(х)^~-(х а) ,
. =1
где ¥;. (х, а.) - локальные функции аппроксимации в областях
В. из выбранного параметрического класса функций. В этом случае функционал (4), соответствующий идентифицируемой модели (7), записывается следующим образом:
(8) = 2{Ь _ ^(х, а.)]2р(х)дх.
1=1 в.
Тогда задача кусочной аппроксимации идентифицируемой модели состоит в нахождении такого разбиения на классы, для которого сумма квадратов невязок оценок локальных моделей всех классов была бы минимальна. Другими словами, необходимо найти такую классификацию (6) и такие значения векторных параметров а., для которых функционал (8) принимал бы минимальное значение. Вообще говоря, параметр г (число областей В.) также должен участвовать в минимизации критерия (8). Однако для критерия в форме (8) такая минимизация даёт тривиальный результат - максимально возможное с точки зрения достоверной оценки коэффициентов регрессии а.. Очевидно, что это не соответствует интуитивному представлению об «оптимальном» числе областей.
2. Методы решения задачи структурной идентификации
Существует два подхода для решения поставленной задачи. Первый подход состоит в формальном рассмотрении функционала (8) и применении некоторого алгоритма его минимизации. Во втором подходе для нахождения областей разбиения (6) и локальных функций аппроксимации ¥■ (х, а.) используются методы распознавания образов и кластеризации.
2.1. ВАРИАЦИОННЫЙ ПОДХОД К РЕШЕНИЮ ЗАДАЧИ СТРУКТУРНОЙ ИДЕНТИФИКАЦИИ Для разработки алгоритма кусочной аппроксимации в соответствии с первым подходом необходимо рассмотреть первую вариацию функционала (8) 63 и разработать алгоритм, обеспечивающий выполнение необходимого условия экстремума функционала 3: 63 = 0. Параметр г не участвует в минимизации функционала, т. е. число областей В. задаётся заранее (например, экспертным путём).
Вариация 63 разбивается на две независимые части: 63 = 613 + 623, где 613 - вариация по параметрам а. локальных регрессий; 623 - вариация по разбиению Н, т. е. по границам областей В.. В связи с тем, что вариации 613 и 623 берутся независимо, необходимое условие экстремума функционала 3 может быть переписано в следующей форме: 613 = 0 и 623 = 0.
Без ограничения общности, для более компактного формульного представления необходимые условия минимизации функционала далее будем рассматривать для г = 2.
(9) |[у - Р. (х, а. )] 2 ЧаР. (х, а. )р(х) дх = . = 1,2,
В.
(10) ф( х, у) = [у - р1 (х, а.)]2 - [у - Д( х, а.)]2 = 0, х еЛ,
где V - градиентный оператор, Л - кусочно-гладкая граница поверхности, разделяющей области В1 и В2, Ф(х, у) - дискриминантная функция.
Для решения системы уравнений (9), (10) предлагается использовать итеративную процедуру типа стохастической аппроксимации [2]:
a, (п +1) = a, (n) - sign Ф[ x(n +1), у (n +1)] g, (n +1) *
(11a) ~
* {У(n +1) - Fj [x(n +1), a, (n)]} Va, Fj [x(n +1), a, (n)],
(,1б) Ф[x(n +1),у(n +1)] = {у(n +1) -F [x(n +1),a(n)]}2 -(116) ~ 2
-{y(n +1)-F2[x(n + 1),a2(n)]} , j = 1,2.
Так как выражение (10) для дискриминантной функции Ф^, у) содержит выходной параметр у, который известен только для данной выборки наблюдений, это решающее правило не может быть использовано для прогнозирования. По этой причине дискриминантная функция должна быть построена как функция fx), зависящая только от входных параметров.
Для того чтобы построить аппроксимацию функции fx), можно использовать обычные алгоритмы распознавания образов с учителем [1]. В этом случае наблюдения (2) используются как обучающая выборка, а значения sign Ф^, у) рассматриваются как обучающие сигналы, содержащие информацию о том, где расположена точка x: в B1 (если sign Ф^, у) = 1) или в В2 (если sign Ф^, у) = -1).
Для аппроксимации функции fx) можно использовать итерационный алгоритм, основанный на методе потенциальных функций [1, 3]. Этот алгоритм и уравнение (11а) фактически составляют адаптивный алгоритм кусочной аппроксимации.
2.2. ДВУХЭТАПНАЯ СХЕМА РЕШЕНИЯ ЗАДАЧИ
СТРУКТУРНОЙ ИДЕНТИФИКАЦИИ
Как уже говорилось выше, при решении прикладных задач идентификации было замечено, что многие сложные объекты могут работать в нескольких технологических режимах, суще-
ственно различающихся своими моделями у = ^-(х), где . -индекс режима [4]. При этом .-му режиму соответствует определённая область В. в пространстве входных параметров X. В [5] для идентификации такого рода объектов впервые было предложено использовать методы кусочной аппроксимации. Обычно
в качестве оценок локальных моделей ¥■ (х, а.) используются
достаточно простые функции - линейные или даже константы.
В этом случае процедура кусочной аппроксимации состоит из двух этапов.
На первом этапе, используя выборку х1, ..., х№ пространство X разбивается на г областей В., каждая из которых содержит только «близкие» наблюдения х. (в соответствии с выбранным критерием близости). В качестве критерия близости обычно используется среднеквадратичное отклонение точек в области В. [2, 6]:
г
(12) 3 = 2/ (х - Ь) 2 р (х) йх,
.^ в.
где Ь. - модель (эталон) области В.. Для разбиения пространства X на области В. обычно используются алгоритмы автоматической классификации (кластеризации) [4, 6].
На втором этапе по выборке (2) строятся локальные регрессионные модели ¥. (х, аа) .
Особенность данного подхода состоит в том, что на первом этапе процедуры кусочной аппроксимации используется только информация о входных параметрах. Для большинства сложных объектов частота измерения входных параметров намного выше, чем выходных, поэтому количество входных параметров значительно превышает количество выходных. Классические алгоритмы идентификации, основанные на первом подходе к решению задачи кусочной аппроксимации, могут рассматривать только пары наблюдений (х1,у1), ..., (х№ум), в то время как дополнительная информация о входных параметрах в этом случае не используется. В рамках же второго подхода был
разработан алгоритм, который позволяет использовать информацию о выходном параметре у уже после того, как получено разбиение {Ву,у = 1, ..., г}. Основная идея этого алгоритма состоит в следующем.
Сначала пространство X разделяется на области Ву, у = 1, ..., I, где число I значительно больше, чем «реальное» число областей г . Для этой цели в работе использовался комплекс алгоритмов структурно-классификационного анализа [6], включающий алгоритмы: га-локальной оптимизации заданного критерия, выбора информативных параметров, выбора начального разбиения, выбора в определённом смысле «оптимального» числа классов, заполнения пропущенных наблюдений.
Далее производится пошаговое объединение областей Ву следующим образом. На каждом шаге находится ближайшая пара областей Ві и Ву - кандидатов на объединение. Затем проверяется гипотеза: «локальные модели аппроксимации
Г (х, аг) и Гу (х, а у) в областях Ві и Ву статистически неразличимы». Для этого вводится мера близости К(Ві, Ву) областей Ві и Ву [6] и применяется специальная процедура верификации этой гипотезы. В качестве оценок локальных моделей Гу (х, ау)
обычно используются линейные функции. По этой причине далее рассматривается только кусочно-линейная модель (аппроксимация). В этом случае для верификации гипотезы использовалась статистика Фишера-Чоу [7]
Г (к, N + - 2к) =
р=і і=і
(13) Яр = [у(хр) - Г(хр )1 хр Є Вг, = [у(У ) - (х1 )1 , Є В
Я, = [у(х* ) - (х, ^ X Є Вг ^ Ву ,
у
где к - размерность пространства X; Щ и Щ - число наблюдений, попавшие в области В. и Ву соответственно; ¥у-(х) - локальная
модель аппроксимации в объединенной области В. и Ву. Таким образом, ё - это разница между реальными и прогнозируемыми значениями выходного параметра у при условии, что х принадлежит к соответствующей области.
Если ¥ < ¥0, тогда гипотеза верна, где ¥0 - уровень значимости, в противном случае гипотеза отвергается, т. е. области В. и Ву не объединяются.
Таким образом, алгоритм кусочно-линейной аппроксимации (идентификации) состоит в последовательном повторении следующей процедуры. На каждом шаге объединения необходимо найти ближайшую в определённом смысле пару областей В. и В у, для которых
(14) К(В-, Ву) = тахК(В,, Вр).
I, р
Найденные с помощью (14) области объединяются в новую область В. = В1 и Ву, если ¥ < ¥0, т. е. гипотеза «локальные
модели аппроксимации ^ (х, а.) и ¥у (х, а у) в областях В. и Ву статистически эквивалентны» верна. Новая локальная модель аппроксимации в объединённой области В; обозначается как ¥■* (х) = Руу (х). Эта процедура повторяется для всех областей В. и Ву (или В1 и В.). В результате, возможно, получатся новые области В; и, соответственно, новые локальные модели аппроксимации В** (х), которые в совокупности дадут оценку итоговой кусочно-линейной модели идентифицируемого объекта, как только закончится процесс объединения областей.
Описанная процедура позволяет построить кусочнолинейную аппроксимацию неизвестной модели идентифицируемого объекта, учитывая геометрическую близость областей Ву в пространстве X, а также статистическую различимость
локальных регрессионных функций различных областей. Важное преимущество разработанной процедуры состоит в том, что число областей г при разбиении пространства X получается автоматически и оптимальным образом.
3. Заключение
Описанные алгоритмы кусочно-линейной аппроксимации были успешно использованы для идентификации сложных объектов управления во многих прикладных задачах. Во всех случаях разработанные алгоритмы показали свою высокую эффективность.
Литература
1. АЙЗЕРМАН М.А., БРАВЕРМАН Э.М., РОЗОНОЭР ЛИ.
Метод потенциальных функций в теории обучения машин.
- М.: «Наука», 1970. -495 с.
2. БАУМАН Е.В., ДОРОФЕЮК А.А., ДОРОФЕЮК Ю.А. Методы структурно-классификационного анализа, базирующиеся на процедурах стохастической аппроксимации // Труды Второй международной конференции Управление развитием крупномасштабных систем (МЬ8Б’2008). -М.: ИПУ РАН, 2008. -С. 192-200.
3. БРАВЕРМАН Э.М., МУЧНИК И.Б. Структурные методы обработки эмпирических данных. - М.: Наука, 1983. - 430 с.
4. ДОРОФЕЮК А.А., КАСАВИН А. Д., ТОРГОВИЦКИЙ И.Ш. Применение методов автоматической классификации для построения статической модели объекта // Автоматика и телемеханика. - 1970. - №2. - С. 34-40.
5. ДОРОФЕЮК А.А., ТОРГОВИЦКИЙ И.Ш. Применение методов автоматической классификации данных в задаче контроля качества изделий // Стандарты и качество. - 1967.
- №4. - С. 25-30.
6. ДОРОФЕЮК Ю .А. Комплекс алгоритмов структурноклассификационного анализа и его использование в задачах анализа и совершенствования крупномасштабных систем управления // Труды Второй международной конференции Управление развитием крупномасштабных систем (MLSD’2008). Том I. - М.: ИПУ РАН, 2008. - С. 35-38.
7. CHOW G.C. Tests of Equality between Sets of Coefficients in Two Linear Regressions // Econometrica. - 1960. - Vol. 28, №3.
- P.79-86.
COMPLEX CONTROL OBJECTS IDENTIFICATION ON THE BASE OF PIECEWISE APPROXIMATION METHODS
Julia Dorofeyuk, Institute of Control Sciences of RAS, Moscow, research assistant ([email protected]).
Abstract: The problem of complex object functioning model development is solved with the aid of algorithms of structure-ranging analysis and piecewise approximation. Two approaches to the solution are considered - the first employs iterative algorithms which implement variational approach to piecewise approximation, while the second uses two-phase algorithms where the processes of input parameter space structuring and local regression model development are separated.
Keywords: ranging data analysis, structure identification, piecewise approximation of complex dependence, Fisher-Chow statistic.
Статья представлена к публикации членом редакционной коллегии А. С. Манделем
