CC BY
19ISSN 2782-2001 Системы анализа и обработки данных том 86, № 2, 2022, с. 39-54
http://journals.nstu.ru/vestnik Analysis and data processing systems Vol. 86, No. 2, 2022, pp. 39-54
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И ТЕЛЕКОММУНИКАЦИИ
INFORMATION
TECHNOLOGIES
AND TELECOMMUNICATIONS
УДК 519.242 Б01: 10.17212/2782-2001-2022-2-39-54
Алгоритмы построения дискретных Л-оптимальных планов эксперимента при активной идентификации регрессионных моделей многофакторных систем*
А. А. ПОПОВ
630073, РФ, г. Новосибирск, пр. Карла Маркса, 20, Новосибирский государственный технический университет
a.popov@corp.nstu.ru
Для решения задачи эффективной идентификации регрессионных моделей многофакторных систем, как правило, прибегают к использованию концепции оптимального планирования эксперимента. Синтез планов эксперимента предполагает использование априори выбранного критерия оптимальности. Их предложено достаточно много. Чаще всего находят применение критерии, которые связаны с точностью оценивания параметров регрессионных моделей. Можно назвать такие известные критерии, как критерий О-оптимальности, критерий ^-оптимальности и критерий Е-оптимальности. Следует отметить, что большая часть теоретических и прикладных исследований связана с использованием критерия ,0-оптимальности В работе отмечается, что часто планы, построенные по критерию ^-оптимальности, показывают хорошие характеристики и по ряду других критериев оптимальности. При этом сам критерий характеризует собой среднюю дисперсию оценок параметров регрессионной модели и для Л-оптимальных планов эллипсоид рассеивания имеет наименьшие габаритные размеры. Использование критерия ,0-оптимальности позволяет получать эллипсоид рассеивания оценок параметров наименьшего объема, что не исключает вероятность получения эллипсоида вытянутого по одной или нескольким главным осям.
В работе предлагаются и описываются два алгоритма синтеза дискретных Л-оптимальных планов. Первый из них базируется на развиваемой автором концепции последовательного достраивания плана эксперимента до необходимого объема. Он может с успехом применяться в ситуации, когда исследователю необходимо наращивать объем экспериментов для достижения необходимой точности результирующей модели. Второй алгоритм, позволяющий строить планы для заданного числа наблюдений, состоит из итераций, на которых производится добавление и удаление точек плана по определенным правилам.
Ключевые слова: регрессионная модель, активная идентификация, план эксперимента, робастные планы, критерии оптимальности, Л-оптимальные планы, алгоритм достраивания, алгоритм добавления-удаления
*
Статья получена 17 февраля 2022 г.
ВВЕДЕНИЕ
Для решения задач оптимального планирования эксперимента для регрессионных моделей предложено достаточно много критериев оптимальности [1]. Среди известных отметим такие критерии, как .-, А-, ^-оптимальности. Они предполагают минимизацию соответственно определителя дисперсионной матрицы, следа дисперсионной матрицы или максимального собственного числа дисперсионной матрицы. Для отмеченных оптимальных планов эллипсоиды рассеивания оценок параметров имеют характерные особенности. Так, например, эллипсоид рассеяния оценок параметров для .-оптимального плана имеет минимальный объем, для А-оптимальных планов эллипсоид рассеивания имеет наименьшие габаритные размеры, ^-оптимальным планам соответствует эллипсоид рассеивания с наименьшей максимальной осью. Следует отметить, что бо льшая часть теоретических и прикладных исследований связана с использованием критерия .-оптимальности. Разработаны целые каталоги .-оптимальных планов второго порядка [2, 3]. Несмотря на то что использование критерия .-оптимальности позволяет получать эллипсоид рассеивания оценок параметров наименьшего объема, это тем не менее не исключает вероятности получения эллипсоида, вытянутого по одной или нескольким главным осям.
1. ВОПРОСЫ РОБАСТНОГО ОПТИМАЛЬНОГО ПЛАНИРОВАНИЯ ЭКСПЕРИМЕНТА
Предположим, что модель исследуемого объекта имеет вид
„ т
л(X, 0) = /Т (X) е = Х // (х) 0/ ,
/=1
т
где / (х) = (/1(х),..., /т(х)) - заданная вектор-функция от независимой
переменной х = (х1,..., х^) , которая может изменяться в области XX;
т
0 = (01,..., 0т) - неизвестные параметры, которые необходимо определить по результатам экспериментов (измерений). Предположим также, что любое число измерений зависимой переменной можно провести при произвольных ху £ X. Подчеркнем, что будем использовать в одних случаях обозначение ху как у-ю точку наблюдений, а в других случаях - как у-ю координату
вектора переменных х. Смысл обозначений будет ясен из контекста. Непрерывным нормированным планом в называется совокупность величин
{х1, х2,..., хп ; ру, Р2,..., рп}. Набор точек х^ х2,..., хп называют спектром плана, а веса Р1, Р2,..., рп точек плана удовлетворяют условиям нормировки
п _
и положительности: ^ р{ = 1, р^ > 0, 1 = 1,п . Плану в соответствует инфор-
I=1
мационная матрица
М (в) = £#/(х)/Т (х).
1=1
Качество плана эксперимента оценивают по значению некоторого функционала от информационной матрицы М (в) или соответствующей ей дисперсионной матрицы О (в) = М _1(в).
В силу многообразия предложенных критериев оптимальности планов и в связи с тем, что построить планы, удовлетворяющие сразу нескольким критериям оптимальности можно только для простых моделей, встает задача выбора критерия оптимальности. По сути, мы должны остановиться на каком-то одном критерии оптимальности, но с учетом того, чтобы получаемый план был близок к оптимальным планам по разным критериям, т. е. был робастным. Исследованием робастности оптимальных планов занимался Кифер [4].
Он ввел в рассмотрение критерий Фц -оптимальности. План в* называют Фц -оптимальным, если
в = arg min Фц (в) = arg min
f Л m V7ц
m I^1 (в)
i=1 J
0 <ц<<
Вид функционала Фц при граничных условиях ц^ 0 и ц^да определяется следующим образом:
Фо(в) = lim Фц (в) = |D(b)|17m ,
ц^0
Фда (в) = lim Фц (в) = max (в), ц^да i
где %i (в) - собственные числа матрицы D(в) = M _1(в). Таким образом, функционал Фо(в) соответствует критерию D-оптимальности, Ф1(в) - критерию A-оптимальности, Фда (в) - критерию ^-оптимальности.
Для определения робастных оптимальных планов Кифер предложил рассматривать отношение
5(в, ц) = Фц (в)/Фц(вц), (1)
*
где Вц - Фц -оптимальный план; в - оптимальный по какому-либо критерию
план. Отношение (1) показывает потерю эффективности плана в по отноше-
*
нию к плану Вц в виде относительного увеличения значения функционала Фц .
Если план в совпадает с Вц , то 5 (в, ц) = 1. В других случаях 5(в, ц) > 1.
Под робастными планами понимались планы в , имеющие меньшее значение 5(в, ц) для различных ц, т. е. имеющие меньшую потерю эффективности по другим критериям оптимальности.
Для полиномиальной регрессии на отрезке D-оптимальные планы были предложены в работах [5, 6]. Впервые A- и ^-оптимальные планы для данных моделей были получены в работе [7]. Опираясь на характеристики этих планов, можно вычислить значения их эффективности 5(в, ц) (см., например, [8]).
В табл. 1 и 2 по столбцам даны значения 5 (в, ц) при ц = 0, 1, го соответственно для D-, A-, E-оптимальных планов для таких распространенных случаев, как полиномиальная модель на отрезке, квадратичная модель на квадрате и кубе. Характерно, что для рассматриваемых моделей робастными следует считать A-оптимальные планы. Однако необходимо отметить, что данная закономерность выполняется не всегда. Например, для области планирования в виде шара более робастными выглядят E-оптимальные планы [8].
Таблица 1 Table 1
Сравнительная эффективность оптимальных планов для полиномиальной регрессии степени q = 2, 3 на отрезке
Comparative peformance of optimal designs for the polynomial degree regression
on the interval
* * * Оптимальные планы в d , в a , в e
Фц q = 2 q = 3
* BD * в A * в E * BD * в A * BE
Фо 1,00 1,07 1,16 1,00 1,08 1,15
Ф1 1,12 1,00 1,04 1,17 1,00 1,03
Ф» 1,37 1,05 1,00 1,35 1,03 1,00
Таблица 2 Table 2
Сравнительная эффективность оптимальных планов для квадратичной регрессии на квадрате и кубе (-1 < xi < 1, xi = 1, k), k = 2, 3
Comparative performance of optimal designs for squared and cubed quadratic regression (-1 < xi < 1, xi = 1, k), k = 2, 3
ф Ц * * * Оптимальные планы в d , в a , Be
k = 2 k = 3
* B D * B A * B E * BD * B A * BE
Ф0 1,00 1,08 1,35 1,00 1,11 1,57
Ф1 1,18 1,00 1,15 1,24 1,00 1,27
Ф» 2,02 1,22 1,00 2,86 1,40 1,00
Критерии D-, A-, E-, Ф^ -оптимальности можно интерпретировать с позиций принципов векторной оптимизации. Так, например, критерий D-опти-мальности есть модель относительной уступки относительно критериев А,г- (M(в)) . Критерий A-оптимальности - это модель абсолютной уступки отно-
сительно критериев А- 1 (М (в)), критерий Е-оптимальности - модель принципа максимина, критерий Ф^ -оптимальности - модель минимизации меры приближения в пространстве критериев А -^(М (в)) до нулевой точки. Получается, что при планировании по критериям оптимальности В, А, Е, Ф^ и другим мы фактически выбираем один из принципов компромисса. Использование того или иного принципа компромисса позволяет свести векторную задачу оптимизации к скалярной. Решая подобные задачи, мы получаем так называемые неулучшае-мые точки. Неулучшаемые точки иногда еще называют эффективными, или оптимальными по Парето. Нахождение всего множества неулучшаемых точек было бы достаточно полным решением векторной задачи.
Рассмотрим регрессию вида
Л (X, 0) = 0! +е2х2, (2)
где х е XX = [-1,1].
Обозначим элементы информационной матрицы:
П 2 П 4
Ь = ^ рх , а = ^ рх , 0 < а < Ь < 1.
г=1 г=1
Г1 Ь ^
Тогда М (в) =
1Ь а /
Равенство а = Ь возможно. Для этого достаточно рассматривать планы, спектр которых содержит точки +1, —1 или 0.
Для приведения М(в) к диагональному виду будем использовать плоские
вращения [9]. Собственные числа Аг- (М(в)) будут определяться следующими выражениями:
А 1 + а + ^1 (1 — а)2 + 4Ь2 А 1 + а — д/(1 — а )2 + 4Ь2
Ал =-, А,2 =-.
1 2 2 2
Для А1 можно сразу определить предельные максимальные и минимальные значения (А1 = 2 и А1 = 1), которые достигаются лишь в случаях а = Ь = 1 и а = Ь = 0 . Однако при этом информационная матрица будет вырожденной, поскольку А2 = 0. Для отображения всего множества информационных матриц необходимо в координатной системе А1, А2 найти выпуклую оболочку возможных точек (А1, А2) . Поместим начало координат системы (А1, А2) в
точку (1, 0) и найдем квадрат длины вектора-годографа 2:
2 2 2 2 = (А1 -1) + (А2 - 0) . Нам нужно получить всевозможные 2 в зависимости от а и Ь, но максимальной длины. Найдя производную 52/да , мы видим, что она положительна - это значит, что для максимизации 2 необходимо брать а = Ь. Изменяя Ь от единицы до нуля при условии а = Ь, построим выпуклую оболочку (рис. 1).
Kl
Рис. 1. Множество эффективных точек для модели (2) Fig. 1. A set of effective points for model (2)
Множество эффективных (Парето-оптимальных) точек выделено жирной линией. Е-оптимальному плану соответствует оптимальное значение b = 0,4 (А-1 = 1,2, = 0,2), D- оптимальному соответствует значение b = 0,5 (А-1 = 1,309, ^2 = 0,191), A-оптимальному плану соответствует значение b = 0,414 (А-1 = 1,214, ^2 = 0,199). Можно видеть, что на множестве Парето-оптимальных решений точка, соответствующая A-оптимальному плану, занимает положение между Е- и D-оптимальными планами. В очередной раз мы убеждаемся, что критерий A-оптимальности может считаться робастным критерием.
Несмотря на это явное положительное свойство критерия A-опти-мальности, отметим, что в большинстве работ, связанных с тематикой оптимального планирования эксперимента, внимание в основном сосредоточивается на критерии D-оптимальности. В настоящей работе постараемся немного исправить это положение дел и рассмотрим несколько алгоритмов синтеза дискретных A-оптимальных планов.
2. АЛГОРИТМЫ СИНТЕЗА ДИСКРЕТНЫХ ^-ОПТИМАЛЬНЫХ ПЛАНОВ
Рассматривается задача построения дискретных A-оптимальных планов, т. е. планов с заданным числом наблюдений. Именно дискретные оптимальные планы находят применение на практике. В работе [7] для построения дискретных оптимальных планов использовался алгоритм градиентного спуска по координатам точек плана. Он относится к классу общих алгоритмов нелинейной оптимизации и в своей основе не учитывает в полной мере специфику решае-
мой задачи. В этой связи важно иметь набор алгоритмов специализированного типа. Одним из первых алгоритмов, основанных на концепции замены точек и пригодных для синтеза дискретных А-оптимальных планов, стал алгоритм градиентной замены. Он достаточно подробно описан в работе [8]. Работа алгоритма основана на использовании вектора градиента функционала от информационной матрицы по весам точек плана. При движении по градиенту учитывается дискретность значений весов точек плана. Отмечается, что при малом числе точек в дискретном плане алгоритм имеет склонность к преждевременному останову. В этой связи исследования, направленные на разработку более эффективных специализированных алгоритмов синтеза дискретных А-оптимальных планов, актуальны. Два таких алгоритма мы рассмотрим в этой работе.
2.1. АЛГОРИТМ ПОСЛЕДОВАТЕЛЬНОГО ДОСТРАИВАНИЯ СИНТЕЗА Л-ОПТИМАЛЬНЫХ ПЛАНОВ (АЛГОРИТМ Seq-Add-A)
Алгоритм последовательного достраивания состоит в реализации итерационной процедуры по наращиванию числа наблюдений в плане на каждом
шаге через добавление новой точки в5+1 = (1 -а)в5 + ав(х5+1), где в5 - план
с предыдущего шага, в (х5+1) - план из одного наблюдения в точке х5+1, а - вес добавляемой точки. В первоначальном своем варианте алгоритм был разработан для построения дискретных Б-оптимальных планов [10, 11]. При добавлении очередной точки в план информационная матрица пересчиты-вается по формуле
М (в,+1) = (1 — а)М (в я) + а/ (х5+1)/Т (х5+1) =
= (1 — а)
М (в,)
а /(х,+1)/Т (х,+1)
1 —а
Найдем обратную матрицу:
М "1(в, +1) = Г(1 — а)М (в,) + а/ (х5 +1) /Т (х5+1)'
—1
= (1 — а)
—1
а М _1(в5)/(х5+1) /Т (х5+1)
1—а
—1
М _1( в 5).
(3)
Известно следующее свойство обращения матриц [6]: (1р + АВ)-1 = 1р - А( 1д + ВА)-1 В,
(4)
где А - р х д, В - д х р - матрицы.
Полагая а Б (в5)/(х5+1) = А, /Т (х5+1) = В и используя это свойство, 1 -а
получим
5+К /Т +1\
аР(вд)/(х^)/ (х^)
1 — а
= 1т - Б(в8)/(х5+1) 1 - —
1 + /Т (х5+1)-^Б (в,)/(х5+1) 1 - —
-1
/Т (х5+1),
где Б (в5) = М~\в5).
И окончательно получим
Б (в 5+1) = (1 -—)
-1
1т
Б(в 5) / (х5+1) / Т( х5+1)' 1- — + — й (х5+1, в5)
Б (в 5).
(5)
Опираясь на полученное выражение, определим, как изменяется след дисперсионной матрицы при добавлении очередной точки в план:
(гБ(в 5+1) = (1- -) 1
(гБ(Вэ )--
—
1 - — + —й
(х5+1, В5)
ф(х5+1, в5)
(6)
где ф(х5+1, в 5) = /т (х5+1) Б2 (в 5) / (х5+1); й(х5+1, в5) = /т (х5+1)Б(в5 )/(х5+1).
При добавлении точки в план устанавливается вес —= 1/(5 +1) и след дисперсионной матрицы меняется:
*гБ(в5+1) =
5 + 1
*Б(в 5 )--
ф(х5 +1, в5 )
+ й (х5+1, в5 )
(7)
Таким образом, для осуществления последовательного наращивания плана до необходимого объема следует на каждом шаге добавлять точку в соответствии с
х*+1 = а^шах- ф(х, в5)
1 хеХ 5 + й(х, в5 ) '
(8)
где XX - область планирования.
Информационная матрица плана с числом наблюдений 5 < т будет вырожденной. Применим регуляризацию по единичной матрице, вводя в рассмотрение матрицу
М (в5) = М (в5) + у1„
(9)
где у - некоторый малый положительный параметр регуляризации. Необходимость в регуляризации сохраняется до достижения числа точек в плане, равном числу параметров в модели.
Отдельно следует рассмотреть вопрос, какую точку включать в план первой. Проблема в том, что еще не существует никакого плана. И в качестве
М (в5) будем рассматривать М(в5) = у1т . Для простоты возьмем у = 1.
Нам необходимо найти выражение для (I + /(х5+1)/т (х5+1))-1. Будем использовать известное тождество Шермана - Моррисона - Вудбери [12-14]
(А + иСУ)—1 = А"1 - А_1и (С+ ¥А~1и )—1УА~1. Для нашего случая имеем
(I + /(х5+1)/Т (х5+1))—1 = I - /(х5+1 )(1 + /Т (х5+1)/(х5+1))—1 /Т (х5+1) . Вычислим след
»(I + /(х5+1)/Т (х5+1))-1 = М - /Т (х5+1)(1 + /Т (х5+1)/(х5+1))-1 /(х5+1). Преобразуем второе слагаемое
/Т (х5+1 )(1 + /Т (х5+1)/(х5+1))—1 /(х5+1) = 1/(1 + 1/ /Т (х5+1)/(х5+1)) .
Видим, что оно представляет собой возрастающую функцию от скалярного произведения /Т (х5+1)/(х5+1). Следовательно, первую точку выбираем как решение экстремальной задачи
х5+1 = а^шах/Т(х5+1)/(х5+1). (10)
хеХ
Необходимости регуляризации информационной матрицы на первых шагах можно избежать, если воспользоваться представлением информационной матрицы в виде матрицы Грамма [11]. Нормированная информационная матрица М(вп ) может быть представлена в виде пМ (вп) = ХТ X, где матрица ХТ состоит из векторов /(ху), у = 1,п : ХТ = (/(х^,..., /(хп)), /Т (ху) =
= (Жху ),•••, /т(ху)) , у = 1,п . Будем использовать тот факт, что ненулевые
ТТ
собственные числа матриц XX и XX совпадают [9]. Обозначим через 05
Т
матрицу XX размерности 5 х 5 . При 5 < т можно соответствующим выбором наблюдений обеспечить выполнение условия щ (05 ) = 5 . Элементы матрицы (05 )у = / (х{)/(ху) представляют собой скалярное произведение векторов /(хI), /(ху ) . Матрицу Грама ^^ размерности (5 +1) х (5 +1) можно записать в виде [11]
°5+1 =
( (х5 +1) ^
?! (х5+1) /Т (х5 +1)/(х5+1)
(11)
где
=(/Т(х5+1)/(х1), /Т(х5+1)/(х2),..., /Т(х5+1)/х)) .
Применяя известную формулу вычисления определителя матрицы блочного типа, можно записать, что
М = \Оя\Д(х5+1), (12)
где А(х5+1 ) = /Т (Х>5 +1 )/(Х>5 +1 ) - Р! (Х>5 +1 ) (Х>5 +1 )
Отсюда понятно, что для максимизации на шаге 5 +1 определителя матрицы Gs+l необходимо выбирать точку х5+1 как решение экстремальной задачи [11]
х5+1 = а^шах Д(х). (13)
хе!
Выбор первой включаемой в план точки определяется, как и ранее, исходя из максимизации евклидовой нормы вектора /(х), которая и есть сама матрица 01.
Для матрицы вида (11) ее след от обратной матрицы вычисляется как
= 1 + Д" 1(х5 + 1)^ (х5 + 1) ^ (** + 1) + Д"1(** + 1) . (14)
Для минимизации &0~_+1 на каждом шаге необходимо выбирать точку
х5+1 как решение экстремальной задачи
х5+1 = а^ шщ
хеХ
Д 1 (х5+1 ) (^ +1 ° 2^ (^ +1 ) +
(15)
т
На первом шаге решается задача минимизации 1/ / (х)/(х), что эквива-
т
лентно максимизации / (х)/(х). Избежать необходимости регуляризации информационной матрицы можно также, если использовать на первом этапе специализированный алгоритм, который описан в следующем разделе.
2.2. АЛГОРИТМ ДОБАВЛЕНИЯ-УДАЛЕНИЯ ТОЧЕК СИНТЕЗА ДИСКРЕТНЫХ Л-ОПТИМАЛЬНЫХ ПЛАНОВ (АЛГОРИТМ Add-Del-A)
В основе алгоритма лежит идея пошагового улучшения спектра дискретного плана через добавление «лишнего» наблюдения с последующим возвратом к плану с требуемым числом наблюдений. Впервые эта идея нашла свое воплощение в алгоритме Митчела [15], который был разработан для построения дискретного ^-оптимального плана. Этот алгоритм демонстрирует хорошую эффективность по сравнению с другими алгоритмами, среди которых отметим алгоритм В.В. Федорова [6]. В настоящей работе мы перенесем идею алгоритма на задачу А-оптимального планирования эксперимента. Поставим задачу построения дискретного А-оптимального плана с числом наблюдений N. Веса всех точек плана зафиксируем равными 1 / N. В спектре результирующего оптимального плана могут присутствовать повторяющиеся точки.
Пусть имеется некоторый невырожденный план еN . Добавим к плану еN
еще одну точку (обозначим ее XN+1). Тогда, как мы ранее показали, след дисперсионной матрицы изменит свое значение в соответствии с формулой
Ч N
КО (е N+1) =-
л +1 N +1
(е)_. Ф^+1, еN)
N + й ^N+1, е N)
Максимальное уменьшение следа будет при Хх+, соответствующей решению
Ф ( Х, в N ) Хх+! = аrgmax---.
хеХ N + й (Х, вх )
Добавляя точку Хх+1 в текущий план в N , мы тем самым получаем план в N+1 с одним лишним наблюдением. Если теперь из плана в N+1 исключить некоторую точку Ху , то след дисперсионной матрицы изменится следующим образом:
Ф ( Ху, в N+1)
Ч N
* N +1
КВ(в N+1)-
N +1 - й (Ху, в N+1)
(16)
где в N - план из N точек, полученный из плана BN+1 удалением из него одной точки.
Такой результат получается из (6) с использованием веса а = —1/ N. Минимальное увеличение следа будет достигаться, если Ху будет соответствовать
Ф(Х, вN+1) 'хев N+1 N + 1 — й (Х, в N+1)
Ху = а^ тт ——----. (17)
Поскольку при добавлении точки в план мы максимально уменьшали след дисперсионной матрицы результирующего плана, а при удалении минимизировали его увеличение, то ясно, что (вN) ^ && (вN) . Равенство будет достигаться тогда, когда исключается та точка, которая была включена на предыдущем шаге. В итоге алгоритм Add-Del-A будет состоять из следующих шагов.
1. Построение начального невырожденного плана в N , где 5 - номер итерации.
ф(х ^ )
2. Поиск точки Х : Х = эд^тах-
Хех N + й
( в N)
3. Добавление точки Х5 в план в N с получением промежуточного (N +1) -точечного плана в5
N +1 •
4. Поиск среди точек плана в^+1 точки Ху :
у ф( Х ^+1)
Х у = а^ тт
3 / \
Хев n+1n +1 — й (х, в N+1)
и исключение ее из плана в^+1 с получением плана в N .
Повторять с пункта 2, пока не выполнится xs = xs.
Предлагаемый алгоритм Add-Del-A можно эффективно комбинировать с алгоритмом Seq-Add-A. Идея состоит в том, чтобы использовать алгоритм Add-Del-A на первом этапе для построения насыщенного дискретного плана с числом наблюдений N = m , где m - число параметров в модели. После построения насыщенного дискретного А-оптимального плана подключается основной алгоритм Seq-Add-A.
3. ИССЛЕДОВАНИЯ
Проведем исследование по сравнению эффективности предложенных алгоритмов построения дискретных А-оптимальных планов. В качестве модели будем рассматривать полином третьей степени от двух факторов с числом регрессоров, равным 10. В качестве области планирования будем использовать дискретное множество точек в виде сетки с числом узлов 21 х 21. Это дискретное множество точек репрезентативно представляет собой квадрат [—1; 1] х[—1; 1], поскольку для полинома третьей степени в оптимальном плане, как правило, достаточно четырех уровней варьирования значений каждого фактора. Наряду с планами, построенными тем или иным алгоритмом, будем также рассматривать планы в виде случайной выборки точек из области планирования. Значение функционала качества, в данном случае следа дисперсионной матрицы, для различного числа наблюдений представлено в табл. 3 и в графическом виде на рис. 2. При этом рассматривались ненормированные планы, т. е. веса точек были равны единице. Анализ результатов, представленных в табл. 3 и на рис. 2, говорит о хорошей эффективности предложенных алгоритмов синтеза дискретных А-оптимальных планов. Случайно выбранный план проигрывает построенным оптимальным планам более чем в два раза по величине средней дисперсии оценок параметров.
Таблица 3 Table 3
Значения следа дисперсионной матрицы для кубической модели с двумя факторами
Values of the variance matrix trace for a two-factor cubic model
Количество наблюдений Алгоритм построения плана
Add-Del-A Случайный Seq-Add-A
10 24,9 7793 37,73
12 12,23 135,5 17,76
14 8,87 81,62 11,41
16 8,66 30,74 12,98
18 6,56 28,27 9,31
20 5,77 24,66 7,47
22 5,28 19,13 6,38
24 4,83 14,19 5,64
26 4,49 11,62 5,08
28 4,11 11,54 4,62
30 3,85 11,41 4,26
Окончание табл. 3
End of Tab. 3
Количество наблюдений Алгоритм построения плана
Add-Del-A Случайный Seq-Add-A
32 3,59 10,08 3,94
34 3,29 8,99 3,66
36 3,11 7,35 3,41
38 2,92 7,32 3,21
40 2,76 7,21 3,02
42 2,63 7,1 2,94
44 2,51 6,79 2,87
46 2,42 6,66 2,59
48 2,31 6,61 2,48
■Add-Del-A -•—Случайный —û—Seq-Add-A
о -1-1-1-1-1-1-1-1-1-1-1-1-1-
20 22 24 26 28 30 32 34 36 33 40 42 44 46 48
Число точек в плане
Рис. 2. Изменение значений следа дисперсионной матрицы для кубической модели с двумя факторами при наращивании числа наблюдений от 20 до 48
Fig. 2. Variation of variance matrix trace values for a two-factor cubic model when increasing the number of observations from 20 to 48
Компенсировать данную потерю эффективности случайного плана не удается даже при значительном увеличении числа наблюдений.
Алгоритмы Add-Del-A и Seq-Add-A показывают близкие результаты. Алгоритм последовательного достраивания Seq-Add-A можно с успехом применять в случае, когда заранее не известен объем необходимых экспериментов. Априори можно построить A- оптимальный план с заведомо избыточным числом наблюдений и в дальнейшем на практике реализовывать только часть из них.
ЗАКЛЮЧЕНИЕ
В работе проведен сравнительный анализ с позиций концепции робаст-ного планирования экспериментов А-оптимальных планов с другими планами для полиномиальной регрессии на отрезке. Отмечается, что использование критерия в виде средней дисперсии оценок параметров позволяет проводить компромиссное планирование экспериментов. Для построения дискретных А-оптимальных планов предлагаются эффективные алгоритмы. На примере построения А-оптимальных планов для полинома третьей степени на квадрате показывается, что для достижения одинаковой средней дисперсии оценок параметров оптимальные планы требуют примерно в два раза меньшего числа экспериментов по сравнению со случайным планом.
СПИСОК ЛИТЕРАТУРЫ
1. Налимов В.В., Голикова Т.И. Логические основания планирования эксперимента. -М.: Металлургия, 1981. - 151 с.
2. Голикова Т.И., Панченко Л.А., Фридман М.З. Каталог планов второго порядка. Ч. 2. -М.: Изд-во МГУ, 1974. - 384 с.
3. Голикова Т.И., Панченко Л.А. Систематизация планов для оценки полиномиальных моделей второго порядка // Планирование оптимальных экспериментов. - М.: Изд-во МГУ, 1975. -С. 106-149.
4. Kiefer J. Optimal design: variation in structure and performance under change of criterion // Biomertrica. - 1975. - Vol. 62, N 2. - P. 277-288.
5. Дубова И. С. Федоров В.В. Таблицы оптимальных планов II (Насыщенные D-оптималь-ные планы на кубе). - М.: Изд-во МГУ, 1972. - 42 c. - (Препринт / Межфакультетская лаборатория статистических методов; № 40).
6. Федоров В.В. Теория оптимального планирования эксперимента. - М.: Наука, 1971. -
312 с.
7. Денисов В.И., Попов А.А. A-, Е-оптимальные и ортогональные планы регрессионных экспериментов для полиномиальных моделей / Академия наук СССР, Научный совет по комплексной проблеме «Кибернетика». - Препринт. - М., 1976. - 44 с.
8. Попов А.А. Оптимальное планирование эксперимента в задачах структурной и параметрической идентификации моделей многофакторных систем: монография. - Новосибирск: Изд-во НГТУ, 2013. - 296 с.
9. Уилкинсон Дж.Х. Алгебраическая проблема собственных значений. - М.: Наука, 1970. -
564 с.
10. Попов А.А. Последовательные схемы построения оптимальных планов эксперимента // Сборник научных трудов НГТУ. - 1995. - № 1. - С. 39-44.
11. Попов А.А. Последовательные схемы синтеза оптимальных планов эксперимента // Доклады Академии наук высшей школы Российской Федерации. - 2008. - № 1 (10). - С. 45-55.
12. Беллман Р. Введение в теорию матриц. - М.: Наука, 1969. - 367 с.
13. Рао С.Р. Линейные статистические методы и их применения. - М.: Наука, 1968. - 548 с.
14. Searle S.R. Matrix algebra useful for statistics. - 2nd ed. - Hoboken, NJ: Wiley, 2017. -
479 p.
15. Mitchell T.J. An algorithm for the construction of D-optimal experimental designs // Technometrics. - 1974. - Vol. 16, N 2. - P. 203-210.
Попов Александр Александрович, доктор технических наук, профессор кафедры теоретической и прикладной информатики Новосибирского государственного технического университета. Основное направление научных исследований - статистические методы анализа данных, оптимальное планирование экспериментов, методы машинного обучения. Имеет более 250 публикаций, в том числе 3 монографии. E-mail: a.popov@corp.nstu.ru
Popov Alexander Alexandrovich, D.Sc. (Eng.), Professor, Department of Theoretical and Applied Computer Science, Novosibirsk State Technical University. The main area of his research is statistical methods of data analysis, optimal design of experiments, and methods of machine learning. He has more than 250 publications, including 3 monographs. E-mail: a.popov@corp.nstu.ru
DOI: 10.17212/2782-2001-2022-2-39-54
Algorithms for constructing discrete A-optimal experiment designs in active identification of regression models of multifactor systems*
A.A. POPOV
Novosibirsk State Technical University, 20 K. Marx Prospekt, Novosibirsk, 630073, Russian Federation
a.popov@corp. nstu.ru Abstract
To solve the problem of effective identification of regression models of multifactor systems, as a rule, they resort to using the concept of optimal experiment design. The synthesis of experimental designs involves the use of an a priori chosen optimality criterion. Quite a few criteria have been proposed. Most often, criteria are used that are associated with the accuracy of estimating the parameters of regression models. We can name such well-known criteria as: the L>-optimality criterion, the A-optimality, criterion and the E-optimality criterion. It should be noted that most of the theoretical and applied research is associated with the use of the L>-opti-mality criterion. It is noted in the paper that often plans built according to the A-optimality criterion show good performance for a number of other optimality criteria. At the same time, the criterion itself characterizes an average variance of estimates of the parameters of the regression model and, for A-optimal designs the dispersion ellipsoid has the smallest overall dimensions. The use of the L>-optimality criterion makes it possible to obtain an ellipsoid of dispersion of parameter estimates of the smallest volume, which does not exclude the possibility of obtaining an ellipsoid elongated along one or more principal axes.
The paper proposes and describes two algorithms for the synthesis of discrete A-optimal designs. The first of them is based on the concept of the consistent completion of the experiment design to the required volume developed by the author. It can be successfully used in a situation where the researcher needs to increase the number of experiments to achieve the required accuracy of the resulting model. The second algorithm, which makes it possible to build plans for a given number of observations, consists of iterations in which points are added and removed from the plan according to certain rules.
Keywords: regression model, active identification, experimental design, robust designs, optimality criteria, A-optimal designs, completion algorithm, add-remove algorithm
REFERENCES
1. Nalimov V.V., Golikova T.I. Logicheskie osnovaniya planirovaniya eksperimenta [Logical foundations for design an experiment]. Moscow, Metallurgiya Publ., 1981. 151 p.
2. Golikova T.I., Panchenko L.A., Fridman M.Z. Katalog planov vtorogo poryadka. Ch. 2 [Catalog of plans of the second order. Pt. 2]. Moscow, MSU Publ., 1974. 384 p.
3. Golikova T.I., Panchenko L.A. Sistematizatsiya planov dlya otsenki polinomial'nykh modelei vtorogo poryadka [Systematization of designs for evaluating second order polynomial models]. Plani-
*
Received 17 February 2022.
rovanie optimal'nykh eksperimentov [Design of optimal experiments], Moscow, MSU Publ., 1975, pp. 106-149.
4. Kiefer J. Optimal design: Variation in structure and performance under change of criterion. Biomertrica, 1975, vol. 62, no. 2, pp. 277-288.
5. Dubova I.S. Fedorov V.V. Tablitsy optimal'nykh planov II (Nasyshchennye D-optimal'nye plany nakube) [Tables of Optimal Designs II (Saturated D-optimal designs on a cube)]. Moscow, MSU Publ., 1972. 42 p.
6. Fedorov V.V. Teoriya optimal'nogo planirovaniya eksperimenta [Theory of optimal experiment design]. Moscow, Nauka Publ., 1971. 312 p.
7. Denisov V.I., Popov A.A. A-, E-optimal'nye i ortogonal'nye plany regressionnykh eksperimentov dlya polinomial'nykh modelei [A-, E-optimal and orthogonal regression experiment designs for polynomial models]. Akademiya nauk SSSR, Nauchnyi sovet po kompleksnoi probleme Kibernetika. Moscow, 1976. 44 p.
8. Popov A.A. Optimal'noe planirovanie eksperimenta v zadachakh strukturnoi i parametrich-eskoi identifikatsii modelei mnogofaktornykh sistem [The optimal experiment planning in problems of structural and parametric identification of multifactor systems models: a monograph]. Novosibirsk, NSTU Publ., 2013. 296 p.
9. Wilkinson J.H. Algebraicheskaya problema sobstvennykh znachenii [Algebraic eigenvalue problem]. Moscow, Nauka Publ., 1970. 564 p.
10. Popov A.A. Posledovatel'nye skhemy postroeniya optimal'nykh planov eksperimenta [The sequential schemes constructing of the optimal experiment designs]. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta = Transaction of scientific papers of the Novosibirsk state technical university, 1995, no. 1, pp. 39-44.
11. Popov A.A. Posledovatel'nye skhemy sinteza optimal'nykh planov eksperimenta [The sequential schemes of synthesis of the optimum plans of experiment]. Doklady Akademii nauk vysshei shkoly Rossiiskoi Federatsii = Proceedings of the Russian higher school Academy of sciences, 2008, no. 1 (10), pp. 45-55.
12. Bellman R. Introduction to matrix analysis. New York, 1960 (Russ. ed.: Bellman R. Vvedenie v teoriyu matrits. Moscow, Nauka Publ., 1969. 367 p.).
13. Rao C.R. Linear statistical inference and its applications. New York, Wiley, 1965 (Russ. ed.: Rao S.R. Lineinye statisticheskie metody i ikhprimeneniya. Moscow, Nauka Publ., 1968. 548 p.).
14. Searle S.R. Matrix algebra useful for statistics. 2nd ed. Hoboken, NJ, Wiley, 2017. 479 p.
15. Mitchell T.J. An algorithm for the construction of D-optimal experimental designs. Techno-metrics, 1974, vol. 16, no. 2, pp. 203-210.
Для цитирования:
Попов А.А. Алгоритмы построения дискретных A-оптимальных планов эксперимента при активной идентификации регрессионных моделей многофакторных систем // Системы анализа и обработки данных. - 2022. - № 2 (86). - С. 39-54. - DOI: 10.17212/2782-2001-2022-2-39-54.
For citation:
Popov A.A. Algoritmy postroeniya diskretnykh A-optimal'nykh planov eksperimentov pri ak-tivnoi identifikatsii regressionnykh modelei mnogofaktornykh sistem [Algorithms for constructing discrete A-optimal experiment designs in active identification of regression models of multifactor systems] . Sistemy analiza i obrabotki dannykh = Analysis and Data Processing Systems, 2022, no. 2 (86), pp. 39-54. DOI: 10.17212/2782-2001-2022-2-39-54.
ISSN2782-2001, http://journals.nstu.ru/vestnik Analysis and data processing systems Vol. 86, No 2, 2022, pp. 39-54
