CC BY
68
УДК 519.254 + 004.93'14 ББК 3.32.965.32.965.9
ФОРМИРОВАНИЕ МАССИВОВ ДЛЯ МОДЕЛИРОВАНИЯ АЛГОРИТМОВ ИНТЕЛЛЕКТУАЛЬНОЙ ОБРАБОТКИ ИНФОРМАЦИИ. МОДЕЛИРОВАНИЕ КОМПЛЕКСНОГО АЛГОРИТМА АВТОМАТИЧЕСКОЙ КЛАССИФИКАЦИИ 1
Дорофеюк Ю. А.
(Учреждение Российской академии наук Институт проблем управления им. В.А. Трапезникова РАН, Москва)
Описана методика формирования тестовых массивов данных для компьютерного моделирования алгоритмов интеллектуальной обработки информации. Описаны результаты моделирования комплексного алгоритма структурно-
классификационного анализа, базирующегося на методе потенциальных функций.
Ключевые слова: интеллектуальная обработка информации (ИОИ), тестовый массив для компьютерного моделирования, результаты моделирования комплексного алгоритма.
1. Введение
В последнее время для исследования разнообразных систем управления широко используются методы, алгоритмы и процедуры интеллектуальной обработки информации (ИОИ), см., например, [1]. В [2] описана методология классификационного анализа сложно организованных данных, являющаяся одним из эффективных подходов к решению задач ИОИ. В [3] описан
1 Работа выполнена при частичной поддержке РФФИ, проекты 08-07-00347-а, 10-07-00210-а.
2 Юлия Александровна Дорофеюк, научный сотрудник (|йвгв/вуик[email protected]).
комплекс алгоритмов, реализующих эту методологию для конечного набора анализируемых данных.
В работе описана методика формирования тестовых массивов данных для компьютерного моделирования алгоритмов ИОИ, прежде всего для алгоритмов многомерного классификационного анализа. Описаны также результаты моделирования комплексного алгоритма структурно-классификационного
анализа, базирующегося на методе потенциальных функций [3].
В работе для простоты рассматривается статическая модель функционирования сложного объекта как модель зависимости выходного показателя у от вектора входных показателей:
(1) у = Е(х), х = (х(1),...,х(к)) е X с Як.
Такая модель строится по выборке из N векторов размерности (к + 1)
(2) (у,,х,) = (у,,х;\..,х;к|)еX = Км, , = 1,...,N,
получаемых в режиме нормальной эксплуатации идентифицируемого объекта. Без особого труда можно показать, что предлагаемый далее подход может использоваться также для идентификации динамической модели достаточно общего вида
(3) у(,) = Е[х(,), х(, - 1), х(, - 2),..., х(, - т)],
где т - «глубина памяти» динамической модели. Другими словами, различие моделей (1) и (3) состоит только в размерности пространства входов X, которая увеличивается для (3) до кт.
За критерий качества идентификации, как обычно, принимается среднеквадратичное отклонение выходного параметра у от аппроксимационной модели (функции аппроксимации):
(4) 3 = Лу - Е7(х)] р(х) 1х,
X
где р(х) - функция плотности распределения вероятности в пространстве X. Поставленная задача может быть решена при помощи классических статистических методов только в простых случаях. Например, если известно, что Е(х) принадлежит некоторому параметрическому классу функций Е(х, а), то соответствующая модель Е(х) также может быть выбрана в этом
(5) Е(х) = X є. (х) Т. (х), є} (х) = ■
классе Е(х, а). В этом случае задача сводится к оценке вектора а по имеющейся выборке наблюдений (2).
Однако в прикладных задачах информация подобного типа часто отсутствует. Более того, сложность функции Е(х) не позволяет использовать классические методы математической статистики. Тем не менее было замечено, что сложная во всем пространстве X функция Е(х) может быть представлена в виде совокупности более простых «кусков», определённых на областях В. А именно, предлагается функциональный преобразователь Е(х) (идентифицируемую модель) представлять в виде г Ї1, если х є В.,
.=1 1' ' 1' '' І0, если х ї В.;
где г - число областей (классов); е.(х) - характеристические функции областей разбиения (классификации)
г
(6) Н = {В. є X, ив; = X}.
.=1
Такое представление модели является основой метода кусочной аппроксимации. В этом случае аппроксимационная модель может быть представлена в виде
(7) х) = X є; (х)Р} (х, а}) ,
1 ;'=1
где Е}(х, а.) - локальные функции аппроксимации в областях В. из выбранного параметрического класса функций. В этом случае функционал (4), соответствующий идентифицируемой модели (7), записывается следующим образом:
(8) = £Цу - Р] (х,а.)]2 ^(х) дх.
;=1 В
Тогда задача кусочной аппроксимации идентифицируемой модели состоит в нахождении такого разбиения на классы, для которого сумма квадратов невязок оценок локальных моделей всех классов была бы минимальна. Другими словами, необходимо найти такую классификацию (6) и такие значения векторных параметров а., для которых функционал (8) принимал бы
минимальное значение. Вообще говоря, параметр г (число областей В/) также должен участвовать в минимизации критерия
(8). Однако для критерия в форме (8) такая минимизация даёт тривиальный результат - максимально возможное с точки зрения достоверной оценки коэффициентов регрессии а/. Очевидно, что это не соответствует интуитивному представлению об «оптимальном» числе областей.
2. Методы решения задачи структурной идентификации
Существует два подхода для решения поставленной задачи. Первый подход состоит в формальном рассмотрении функционала (8) и применении некоторого алгоритма его минимизации. Во втором подходе для нахождения областей разбиения (6) и локальных функций аппроксимации Е/(х, 0/) используются методы распознавания образов и кластеризации.
2.1. ВАРИАЦИОННЫЙ ПОДХОД К РЕШЕНИЮ ЗАДАЧИ
СТРУКТУРНОЙ ИДЕНТИФИКАЦИИ
Для разработки алгоритма кусочной аппроксимации в соответствии с первым подходом необходимо рассмотреть первую вариацию функционала (8) 63 и разработать алгоритм, обеспечивающий выполнение необходимого условия экстремума функционала 3: 63 = 0. Параметр г не участвует в минимизации функционала, т.е. число областей В/ задаётся заранее (например, экспертным путём).
Вариация 63 разбивается на две независимые части: 63 = 6}3 + 63, где 6}3 - вариация по параметрам а}- локальных регрессий; 623 - вариация по разбиению Н, т.е. по границам областей В/. В связи с тем, что вариации 6}3 и 623 берутся независимо, необходимое условие экстремума функционала 3 может быть переписано в следующей форме: 6}3 = 0 и 623 = 0.
Без ограничения общности для более компактного формульного представления необходимые условия минимизации функционала далее будем рассматривать для г = 2.
(9) j[y - Fj (х,а}-)]2 Va.Fj (х,а}-)p(х)dx = 0, j = 1,2,
В
(10) ф(х, y)=\y - Fi( x,a}.)] 2-[y -1~2 (x, a j)] 2 = 0, x еЛ,
где V - градиентный оператор; Л - кусочно-гладкая граница поверхности, разделяющей области B1 и В2; Ф^, у) - дискриминантная функция.
Для решения системы уравнений (9), (10) предлагается использовать итеративную процедуру типа стохастической аппроксимации [2]:
aj (n +1) = aj (n) - sign Ф[x(n +1), у (n +1)] gj (n +1) * (11a) ~
* {У(n +1) - Fj[ x(n +1), aj(n)]} VajFj[ x(n +1), aj(n)],
,,,,, Ф[x(n +1),у(n +1)] = {у(n +1)-F[x(n +1),aj(n)]}2 -
(116) ~ 2
-{y(n +1)-F2[x(n + 1),a2(n)]} , j = 1,2.
Так как выражение (10) для дискриминантной функции Ф^, у) содержит выходной параметр у, который известен только для данной выборки наблюдений, это решающее правило не может быть использовано для прогнозирования. По этой причине дискриминантная функция должна быть построена как функция fx), зависящая только от входных параметров.
Для того чтобы построить аппроксимацию функции fx), можно использовать обычные алгоритмы распознавания образов с учителем [1]. В этом случае наблюдения (2) используются как обучающая выборка, а значения sign Ф^, у) рассматриваются как обучающие сигналы, содержащие информацию о том, где расположена точка x: в Вх (если sign Ф^, у) = 1) или в В2 (если sign Ф^, у) = -1).
Для аппроксимации функции fx) можно использовать итерационный алгоритм, основанный на методе потенциальных функций [1, 3]. Этот алгоритм и уравнение (11а) фактически составляют адаптивный алгоритм кусочной аппроксимации.
2.2. ДВУХЭТАПНАЯ СХЕМА РЕШЕНИЯ ЗАДАЧИ
СТРУКТУРНОЙ ИДЕНТИФИКАЦИИ
Как уже говорилось выше, при решении прикладных задач идентификации было замечено, что многие сложные объекты могут работать в нескольких технологических режимах, существенно различающихся своими моделями у = Е/(х), где / -индекс режима [4]. При этом /-му режиму соответствует определённая область В/ в пространстве входных параметров X. В [5] для идентификации такого рода объектов впервые было предложено использовать методы кусочной аппроксимации. Обычно в качестве оценок локальных моделей Е/(х, а}) используются достаточно простые функции - линейные или даже константы.
В этом случае процедура кусочной аппроксимации состоит из двух этапов.
На первом этапе, используя выборку хь ..., хм, пространство X разбивается на г областей В/, каждая из которых содержит только «близкие» наблюдения х}- (в соответствии с выбранным критерием близости). В качестве критерия близости обычно используется среднеквадратичное отклонение точек в области В/ [2, 6]:
г
(12) 3 = Ц ( х - Ь/)2 р (х) йх,
]= в/
где Ь/ - модель (эталон) области В/. Для разбиения пространства X на области В/ обычно используются алгоритмы автоматической классификации (кластеризации) [4, 6].
На втором этапе по выборке (2) строятся локальные регрессионные модели Е/(х, О/).
Особенность данного подхода состоит в том, что на первом этапе процедуры кусочной аппроксимации используется только информация о входных параметрах. Для большинства сложных объектов частота измерения входных параметров намного выше, чем выходных, поэтому количество входных параметров значительно превышает количество выходных. Классические алгоритмы идентификации, основанные на первом подходе к решению задачи кусочной аппроксимации, могут рассматривать
только пары наблюдений (хь_у1), (хм,ум), в то время как
дополнительная информация о входных параметрах в этом случае не используется. В рамках же второго подхода был разработан алгоритм, который позволяет использовать информацию о выходном параметре у уже после того, как получено разбиение {Ву,у = 1, ..., г}. Основная идея этого алгоритма состоит в следующем.
Вначале пространство X разделяется на области Ву, у = 1, ..., I, где число I значительно больше, чем «реальное» число областей г . Для этой цели в работе использовался комплекс алгоритмов структурно-классификационного анализа [6], включающий алгоритмы: га-локальной оптимизации заданного критерия, выбора информативных параметров, выбора начального разбиения, выбора в определённом смысле «оптимального» числа классов, заполнения пропущенных наблюдений.
Далее производится пошаговое объединение областей Ву следующим образом. На каждом шаге находится ближайшая пара областей Ві и Ву - кандидатов на объединение. Затем проверяется гипотеза: «локальные модели аппроксимации Рг(х, аі) и Ру(х, ау) в областях Ві и Ву статистически неразличимы». Для этого вводится мера близости К(Ві, Ву) областей Ві и Ву [6] и применяется специальная процедура верификации этой гипотезы. В качестве оценок локальных моделей Ру(х, ау) обычно используются линейные функции. По этой причине далее рассматривается только кусочно-линейная модель (аппроксимация). В этом случае для верификации гипотезы использовалась статистика Фишера-Чоу [7]:
Мі +Му Мі Му
Е 3+Е3 +Е3
Р (к, N + - 2к) =------------------р-=1 1=1
(( + - 2к) к
Мі му
Е3+Е3
р=1 1=1
У( Ур ) - Рг (Хр )і Хр Є Вг, 3 = [У( У ) - (Х1 )1 , ^Ву,
У(У ) - Ргу (У ^ У Є Вг ^ Ву ,
где к - размерность пространства X; Щ и Щ - число наблюдений, попавших в области В- и В/ соответственно; Е/(х) - локальная модель аппроксимации в объединенной области В- и В/. Таким образом, ё - это разница между реальными и прогнозируемыми значениями выходного параметра у, при условии, что х принадлежит к соответствующей области.
Если Е < Е0, тогда гипотеза верна, где Е0 - уровень значимости, в противном случае гипотеза отвергается, т.е. области В-и В/ не объединяются.
Таким образом, алгоритм кусочно-линейной аппроксимации (идентификации) состоит в последовательном повторении следующей процедуры. На каждом шаге объединения необходимо найти ближайшую в определённом смысле пару областей ВI и В/, для которых (14) К (В-, В) = т ах*(Вг, Вр ).
■' I, рФ1 г
Найденные с помощью (14) области объединяются в новую область В/ = В, и В/|если Е < Е0, т.е. гипотеза «локальные модели аппроксимации Е(х, аг) и Е/(х, О') в областях Вг и В/ статистически эквивалентны» верна. Новая локальная модель аппроксимации в объединённой области Вг-' обозначается как Е '(х)=Еу(х). Эта процедура повторяется для всех областей В, и В/ (или В, и ВI ) В результате, возможно, получатся новые области Вг- '^, соответственно, новые локальные модели аппроксимации ' которые в совокупности дадут оценку итоговой кусочнолинейной модели идентифицируемого объекта, как только закончится процесс объединения областей.
Описанная процедура позволяет построить кусочнолинейную аппроксимацию неизвестной модели идентифицируемого объекта, учитывая геометрическую близость областей В/ в пространстве X, а также статистическую различимость локальных регрессионных функций различных областей. Важное преимущество разработанной процедуры состоит в том, что число областей г при разбиении пространства X получается автоматически и оптимальным образом.
3. Заключение
Описанные алгоритмы кусочно-линейной аппроксимации были успешно использованы для идентификации сложных объектов управления во многих прикладных задачах. Во всех случаях разработанные алгоритмы показали свою высокую эффективность.
Литература
1. АЙЗЕРМАН М.А., БРАВЕРМАН Э.М., РОЗОНОЭР ЛИ.
Метод потенциальных функций в теории обучения машин.
- М.: «Наука», 1970. - 495 с.
2. БАУМАН Е.В., ДОРОФЕЮК А.А., ДОРОФЕЮК Ю.А.
Методы структурно-классификационного анализа, базирующиеся на процедурах стохастической аппроксимации // Труды Второй международной конференции «Управление развитием крупномасштабных систем (МЬ8Б’2008)». - М.: ИПУ РАН, 2008. - С. 192-200.
3. БРАВЕРМАН Э.М., МУЧНИК И.Б. Структурные методы обработки эмпирических данных. - М.: Наука, 1983. - 430 с.
4. ДОРОФЕЮК А.А., КАСАВИН А. Д., ТОРГОВИЦКИЙ И.Ш. Применение методов автоматической классификации для построения статической модели объекта // Автоматика и телемеханика. - 1970. - №2. - С. 34-40.
5. ДОРОФЕЮК А.А., ТОРГОВИЦКИЙ И.Ш. Применение методов автоматической классификации данных в задаче контроля качества изделий // Стандарты и качество. - 1967.
- №4. - С. 25-30.
6. ДОРОФЕЮК Ю .А. Комплекс алгоритмов структурно-
классификационного анализа и его использование в задачах анализа и совершенствования крупномасштабных систем управления // Труды Второй международной конференции. «Управление развитием крупномасштабных систем
(МЬ8Б’2008)». Том I. - М.: ИПУ РАН, 2008. - С. 35-38.
7. CHOW G.C. Tests of Equality between Sets of Coefficients in Two Linear Regressions // Econometrica. - 1960. - Vol. 28, №3. - P. 79-86.
ARRAYS GENERATION FOR MODELS OF INTELLECTUAL DATA FROCESSING ALGORITHMS. MODEL OF COMPLEX AUTOMATIC CLASSIFICATION ALGORITHM
Julia Dorofeyuk, Institute of Control Sciences of RAS, Moscow, research assistant ([email protected]).
Abstract: The technique is suggested for automatic generation of test data arraуs for the aims of computer-aided simulation of intellectual data processing algorithms. Simulation results are presented for the complex structure-ranging anafysis algorithm based on the potential functions method.
Keywords: intellectual data processing, test array for computer simulation, simulation results of complex algorithm.
Статья представлена к публикации членом редакционной коллегии А. С. Манделем
