ПОЛУЧЕНИЕ ТЕСТОВОЙ ВЫБОРКИ В МЕТОДЕ LS-SVM С ИСПОЛЬЗОВАНИЕМ ОПТИМАЛЬНОГО ПЛАНИРОВАНИЯ ЭКСПЕРИМЕНТА Текст научной статьи по специальности «Математика»

ISSN 1814-1196 Научный вестник НГТУ том 65, № 4, 2016, с. 80-99

http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 65, No. 4, 2016, pp. 80-99

ОБРАБОТКА ИНФОРМАЦИИ INFORMATION PROCESSING

УДК 519.23

Получение тестовой выборки в методе Ь8-8УМ

с использованием оптимального планирования

*

эксперимента

А.А. ПОПОВ1, Ш.А. БОБОЕВ2

1 630073, РФ, г. Новосибирск, пр. Карла Маркса, 20, Новосибирский государственный технический университет, доктор технических наук, профессор. Е-тай: a.popov@corp.nstu.ru

2 630 0 73, РФ, г. Новосибирск, пр. Карла Маркса, 20, Новосибирский государственный технический университет, аспирант. Е-тай: shboboev@mail.ru

В работе рассматривается задача восстановления регрессионной зависимости по методу опорных векторов с квадратичной функцией потерь. Данный метод относится к классу ядерных методов. Для настройки ряда внутренних параметров алгоритма ЬБ-БУМ обсуждается проблема получения тестовой выборки. Приведены различные критерии селекции моделей, которые основываются на разбиении выборки на обучающую и тестовую части. Проблема разбиения выборки на тестовую и обучающую части с использованием метода ,0-оптималь-ного планирования эксперимента подробно рассмотрена для случая линейных параметрических регрессионных моделей. Данный метод получения тестовой выборки предложено использовать для метода ЬБ-БУМ. Приводится последовательный алгоритм получения обучающей и тестовой частей выборки наблюдений применительно к методу ЬБ-БУМ. Для проверки работоспособности предлагаемого метода разбиения выборки проведен вычислительный эксперимент. В нем повышение точности решений по ЬБ-БУМ проводилось посредством подбора масштаба гауссовой ядерной функции. Данный параметр ядерной функции подбирался по минимуму ошибки прогноза на тестовой части выборки. Окончательно точность получаемых решений проверялась по среднеквадратичной ошибке. Вычислительный эксперимент проводился на модельных данных. В качестве модели, порождающей данные, была выбрана нелинейная зависимость от входного фактора. Дисперсия помехи (уровень шума) определялась в процентах от мощности сигнала. Сравнивались два способа разбиения выборки на обучающую и тестовую: случайное разбиение и разбиение по методу ,0-оптимального планирования эксперимента. Для выбора параметров алгоритма ЬБ-БУМ использовался также критерий перекрестной проверки. Результаты проведенных вычислительных экспериментов приведены в отдельных таблицах и рисунках. По результатам проведенных вычислительных экспериментов делаются выводы о том, что эффективность использования случайной тестовой выборки нестабильна и во много определяется конкретным вариантом разбиения. При этом стабильность результатов использования тестовой выборки, полученной при ,0-оптимальном разбиении выборки, значительно выше.

Ключевые слова: регрессия, метод ЬБ-БУМ, квадратичная функция потерь, тестовая выборка, обучающая выборка, оптимальное планирование эксперимента, ,0-оптимальный

Статья получена 30 августа 2016 г.

план, критерий регулярности, критерий скользящего контроля, коэффициент регуляризации, ядерная функция, среднеквадратичная ошибка

Б01: 10.17212/1814-1196-2016-4-80-99

ВВЕДЕНИЕ

Метод опорных векторов с квадратичной функцией потерь (Ь8-8УМ) как с линейными, так и с нелинейными ядерными функциями - один из наиболее перспективных алгоритмов построения регрессии. Он является модификацией алгоритма опорных векторов (8УМ) с функцией нечувствительности Вапника. Одним из важных этапов построения регрессии с использованием метода опорных векторов является настройка ряда его внутренних параметров. При использовании произвольных значений параметров алгоритма опорных векторов качество работы алгоритма может существенно варьироваться.

Ключевым моментом в решении задачи настройки параметров алгоритма опорных векторов является выбор критерия качества получаемых решений. Известным и активно развиваемым подходом для выбора линейных параметрических моделей оптимальной сложности является использование так называемых внешних критериев. В нашем случае в качестве таковых могут быть использованы различные варианты критериев, связанных с точностью прогноза на тестовой выборке. В данной работе исследуется возможность разбиения выборки на обучающую и тестовую части с привлечением методов оптимального планирования эксперимента.

ВНЕШНИЕ КРИТЕРИИ СЕЛЕКЦИИ МОДЕЛЕЙ

При построении моделей, описывающих поведение отклика от действующих факторов, главной задачей является определение структуры модели, поскольку, как правило, она априори неизвестна. Исследователь сталкивается с проблемой выбора структуры модели. Для решения этой задачи назначаются определенные критерии «качества», которым должна удовлетворять искомая модель. Будем в дальнейшем называть их критериями селекции моделей. Перечень используемых критериев селекции достаточно широк и подробно представлен в обзорах [1-4].

Критерии селекции моделей можно поделить на две группы: критерии, использующие всю выборку данных, и критерии, основанные на разбиении выборки на части.

Критерии, основанные на разбиении выборки на части

Пусть модель объекта подчиняется следующему уравнению наблюдения:

У = У + 8 = X ¡3 + в, (1)

где У - (п х 1) - вектор ненаблюдаемого незашумленного выхода объекта; X - (п х т) - расширенная матрица плана, соответствующая истинному

набору регрессоров хь...,хт ; в-(п х1) - вектор ненаблюдаемых случайных

ошибок измерения, относительно которых выполнены предположения

Т 2 2

Е(в) = 0п, Е(вв ) = с 1п , где 0п - вектор, состоящий из нулей; ст - неизвестная дисперсия наблюдения; 1п - единичная матрица размера п. Набор регрессоров Х1,...,хт образует множество X, о котором известно, что X сШ, где Ш - некоторое расширенное множество регрессоров. Пусть в результате наблюдения объекта получена Z — (п х р) - расширенная матрица плана из п наблюдений над р регрессорами из Ш, и требуется определить множество X и получить оценку параметров р . Для поиска наилучшей аппроксимации для (1) воспользуемся каким-либо переборным алгоритмом. Пусть X — (п х я) - расширенная матрица наблюдений для текущей модели из 5 регрессоров, образующих множество X сШ. Регрессия отклика у по X будет определяться по уравнению наблюдения

у = X е + е, (2)

где е — (п х 1) - вектор ненаблюдаемых случайных ошибок измерения, относительно которых выполнены предположения Е (е) = 0п , Е(ееТ) = с21п .

Предположим, что выборка наблюдений Ж разбита на две части А и В. В методах структурной оптимизации активно используются следующие так называемые внешние критерии селекции моделей [4-6]: • критерий регулярности

Д2(В) = Д2 (В / А) = ув — Xв еа

2

где запись Д- (В / А) означает «ошибка» на выборке В модели, коэффициенты которой получены с использованием выборки А;

• критерий симметричной регулярности

й2 =Д2(В / А) + Д2(А / В) =

УВ —XB е А + Уа —XA е В

критерий стабильности

Б2 =Д2(А^ В / А) + Д2(А^ В /В) = уЖ —XWеА + уЖ —XWеВ

критерий непротиворечивости

псм =

Xwеа —Xwев

Ж*

• критерий несмещенности по коэффициентам

2 . . 2 пс = е а — е в ;

• критерий вариативности

V2 = (Xw 0a - XW 0W f (XW 0W - XW 0в ) .

К рассматриваемой группе критериев относится также критерий «скользящего контроля» (CV - cross validation)

= 1 (y - /T ()0 (i))2,

где 0(j) - оценка параметров по выборке W с исключенным i-м наблюдением.

Теоретическое обоснование внешних критериев проведено в работах [5-9]. Анализ этих работ показывает, что в отношении методов структурной идентификации складывается теория, в основу которой положен принцип J-оптимальности модели. Рассмотрим его.

J-оптимальная модель определяется решением задачи

f * = Arg min J (f), (3)

f efi f

где Qf - множество всех возможных моделей, формируемых на основе наблюдаемой матрицы Z. Теоретическая (идеальная) модель J(f) определяет собой среднеквадратичную ошибку предсказания истинного отклика либо на всей выборке, либо на прогнозной части В:

1

n

2 , , „ 1

J (f) =-Ey - X 0 , JB (f) = — EyB - XB 0 A

nB

2

При решении задачи (3) минимуму 3(/) соответствует оптимальная сглаживающая модель, а минимуму (/) - оптимальная прогнозирующая. Теоретическое исследование критериев 3 (/) и (/) показало, что в условиях шума с нулевой дисперсией минимумы этих критериев приходятся на

модель сложности 50 = т . При дисперсии наблюдения а2 > 0 функции 3 (/)

* 0 2

и Зб (/) имеют единственный минимум в точке 5 < 5 . С ростом а слож-

*

ность 5 уменьшается, т. е. ./-оптимальной становится все более простая модель. В пределе при относительно сильной зашумленности данных в качестве модели оптимальной сложности будет выбираться модель среднего. В качестве оценок для идеальных критериев 3 (/) и Зб (/) могут выступать внеш-

2 2 2 2 2 ние критерии А (Б), й ,5 , п^м, Аск . Исследования [5-9] показывают,

2 2 2 2

что внешние критерии А (Б), й , 5 , Аск несмещенно оценивают /-оптимальную модель. Критерий п^м при определенных условиях также несмещенно оценивает /-оптимальную модель. В то же время критерий в виде остаточной суммы квадратов ИББ, как и его скорректированная величина ЯББ /(п — 5), не обладает необходимыми свойствами помехоустойчивости,

моде-

поскольку минимум этих критериев при с > 0 не находится в области

я < я0.

Предлагаемые к использованию внешние критерии допускают достаточно простую статистическую интерпретацию с позиций проверки линейных гипотез [10]. Предположим, что ошибки наблюдения распределены по нормальному закону N(0, с21Ы|. Пусть априорные данные о параметрах

ли определены информацией из выборки А и состоят в выполнении

Т Т

XAXAе = XAУA . Поступают новые данные в виде выборки В. По выборке В

производится оценивание параметров и осуществляется проверка гипо-

Т Т Л Т Л

тезы Н : XAXAе = XAУA . Обозначим ЯББ = ( ув — Xв 6 в ) ( ув — Xв 6 В),

Л Т л л

ЯББн = (ув — Xв 6н ) (ув — Xв6Н), где 0н - оценки, полученные при огра-

Т Т

ничениях XAXA0 = XAУA ■ В нашем случае при условии полного ранга мат-

Т Л Л т —1 Т

рицы XAXа имеем, что 0н =еА = (XAXA) XAУA ; ^-статистика для проверки гипотезы будет иметь вид

(Я8БН — ДОБ)/ я = (Д 2( В) — в 2( В))/я

ЯББ/ (пв — я) в2( Б)/(пВ — я)

С учетом взаимосвязи критериев числитель ^-статистики можно записать в виде ЯББН — ЯББ = пСм (В) = (6В — еА )Т xBxB (6в — еА ). Принятие

2 2

гипотезы зависит, таким образом, от нормированных псм (В), в (В). Изменим теперь постановку задачи. Пусть теперь параметры оцениваются на всей выборке Ж = А и В, и по-прежнему проверяется гипотеза Н : xAXAе = XTAУA .

Тогда ЯББ = (у — X6)Т (у — X6) = в2, Я8БН = (у — XеА )Т (у — XеА ). Числитель ^-статистики будет определяться величиной

ЯББН — ЯББ = в2( А) + Д2(В) — в2 = (6 — 0а jT XTX (6 — 0а ),

а полностью ^-статистика запишется как

(в 2( А) + Д 2( В) — в2)/я

Е = ■

в 2/( N — я)

Можно рассмотреть также и проверку гипотезы о равенстве регрессий на выборках А и В. Гипотеза записывается как Н : еа =6в , а Е — статистика как

Е .. V2А

(в 2( А) + в2( В))/(N — 2 я)

Таким образом, дополнительно к рассмотренным выше в качестве критериев селекции можно использовать функции в виде соответствующих ^-статистик проверки гипотез.

Завершая обзор внешних критериев, отметим, что в практике регрессионного моделирования получило распространение использование повторных выборок. В этом случае удается предложить к использованию так называемый субидеальный критерий стабильности [11]. Для многомерных моделей, имеющих векторный отклик, в работах [12-16] предложены и исследованы матричные аналоги критериев селекции, использующие тестовые выборки.

РАЗБИЕНИЕ ВЫБОРКИ ДЛЯ ВНЕШНИХ КРИТЕРИЕВ С ИСПОЛЬЗОВАНИЕМ МЕТОДОВ ПЛАНИРОВАНИЯ ЭКСПЕРИМЕНТА

Использование внешних критериев селекции при решении задачи выбора модели оптимальной сложности предполагает разбиение выборки наблюдения на две части: обучающую и проверочную. На обучающей выборке производится оценивание параметров тестируемых моделей, а на проверочной - проверка их прогнозируемых свойств или свойств согласованности решений с обучающей частью выборки.

В данном разделе основное внимание будет уделено критериям качества моделей, связанным с точностью прогнозирования, в частности - критерию регулярности. В силу этого неизбежно встает задача управления разбиением выборки. Некоторые подходы к решению задачи разбиения с использованием методов оптимального планирования эксперимента предложены в работах [17, 18].

2

Записывая критерий А (В) в канонической форме, легко получить его математическое ожидание [19]:

£(А2(В)) = (( - РвлХЛЪ)Т (( " РвЛ<Э) + Г / т \-1

.2

Пв + 1Г((л) ((в)], (4)

где

\-1

рвл — Хв (ХЛХл) ХЛ

В работе [7] рассмотрены условия, при которых оптимальная структура, соответствующая минимуму (4), совпадает с истиной структурой ? — т . Эти условия диктуют «квадратично зависимое» разбиение матрицы X :

р2ХтлХл — ХТХв, (5)

где р2 - некоторое произвольное число. Точное квадратичное разбиение (5) может иметь место лишь в специально подобранной матрице Х, что на прак-

тике маловероятно. Кроме того, рекомендации типа (5) не учитывают поведение второго слагаемого в (4). С учетом (5) его можно записать как

Ja (s, а) = а2 (nB + s / p2). (6)

Скорость возрастания Ja (s, а) в зависимости от а определяет помехоустойчивость критерия селекции моделей. Ясно, что необходимо выбирать разбиение с возможно большим значением p2 при малой величине пв .

В общем случае разбиения X на X а и Хв величина Ja в соответствии с (4) равна

Ja (s, а) = а2 f пв + tr [XTAXA )_1 ХТвХв 1. (7)

V 1

Исследуем возможность минимизации Ja (7) путем выбора того или иного варианта разбиения X на Xa , Хв при условии, что пв зафиксировано.

Введем следующие обозначения. Пусть есть непрерывный нормированный план, а M - информационная матрица, равная

п

x'AXa/па = ХPixixT . Далее, пусть X определяет собой множество точек, i=1

среди которых необходимо выбрать па точек, присвоив им веса,

равные 1/ па , а остальным точкам присвоить веса, равные нулю. Оптималь-

*

ный план будем находить как решение следующей экстремальной задачи:

= Arg max ¥[M ß)]. (8)

P

В качестве функционала Y[M(^)] будем рассматривать определитель информационной матрицы, что соответствует D-оптимальному планированию эксперимента [20]. Для решения задачи (8) воспользуемся методом проекции градиента функционала Y[M (^)] на активные гиперплос-

T

кости. Пусть вектор p = (Pi,...,pn) соответствует такому состоянию, что первые его па компонентов равны 1/ па , а остальные пв компонентов равны нулю. В этом случае линейное многообразие, на которое проектируется вектор-градиент, будет образовано гиперплоскостями активных ограничений

п

рПа +i = 0,...,pnA +пв = 0, ^Pi = 1. В соответствии с теоремой Куна-Таккера

i=1

*

для того, чтобы точка p была решением задачи (8), необходимо и достаточно выполнение условий [18]:

M^ÖJ =№^(£1 , hj = па + 1..., п ; (9)

др.- dpi

2_д^МЙ1,0, г = 1,..., пв. (10)

/=1 дР/ пА дРпА +г

Для рассматриваемого функционала (С)] компоненты вектора градиента имеют вид

д^[М(С)] ^ еч Ч_1 /еч_1 г

др,

■ = й (х,, С) = х]м (С)"1 х, = ИМ (О"1 хХ , (11)

где й(х,, С) - дисперсия оценки математического ожидания отклика в точке х . .

*

По теореме оптимальности [20] в точках ^-оптимального плана с, значения й(х., С | равны 5 , где 5 - размерность матрицы М(С) . С учетом этого (10) можно записать как

(* \ 1 па / * \

х{, С ) ^-2 й(х/, С ) = 5, г = ПА + 1,..., п . (12)

' пА /=1 У '

Если некоторый план С не является ^-оптимальным, и для него

РпА +1 = РпА +пв = 0, то

й(хI, С) > 5, г = па +1,..., п . (13)

*

Утверждение 1 [18]. Если на X существует ^-оптимальный план С ,

* * *

такой что р = ... = рпа +пв = 1/па, р/ = 0, / = па +1,...,п, то для него

1гМ"1(С*)ХВХВ < Ш"1(С)ХВХВ,

где С - не ^-оптимальный план.

Проведенный анализ задачи разбиения X на Xа , Хв позволяет предложить достаточно простую схему действий: для заданного полного плана

эксперимента в виде имеющейся выборки решается задача построения

*

^-оптимального плана С с па точками из Х. Отметим, что к такому выводу мы приходим и при рассмотрении критерия непротиворечивости [21].

Ь8-8УМ РЕГРЕССИЯ

Рассмотрим задачу восстановления зависимости по зашумленным данным. Дана обучающая выборка Бп ={(хк, ук): хк е Х, ук е У; к = 1,...,п} объема п наблюдений вида

Ук = т(хк) + ек, к = 1,..., п, (14)

где вк е Я будем считать независимо и одинаково распределенной ошибкой с Е\вк | х = хк ] = 0 и Уаг \вк ] = ст2 < », т(х) - неизвестная действительная

гладкая функция и Е[ | х = ] = т(хк) • Вместо неизвестной функции т(х)

Т

будем использовать ее аппроксимацию в виде /(х) = ю ф(х) + Ь . Функционал эмпирического риска использования такой аппроксимации

Я,

етр

(ю, Ь) =1 Х((юТф(хк) + Ь)- Ук ) • пк=1и ' '

(15)

Задачу нахождения вектора ю и Ь е Я можно свести к решению следующей задачи оптимизации [22]:

1 т 1 _, 2

тт 3(ю, е) = — ю ю + —у^в2

ю,Ь, в

(16)

к=1

Т

в предположении, что Ук =ю ф(хк) + Ь + вк, к = 1,..., _ . В (16) параметр регуляризации у отвечает за сложность модели, которая в данном случае определяется нормой вектора ю .

Решение задачи (16) обычно проводят в двойственном пространстве с использованием функционала Лагранжа

Цю, Ь, е, а) = 3 (ю, е)-^^к (ф(к) + Ь + вк - Ук ) (17)

к=1

с лагранжевыми множителями а к е Я .

Условия оптимальности задаются следующим образом:

(И _

— = 0^ю = ^акф(хк), к = 1,..., _;

( ю

(I

к=1

— = 0^ ^ак = 0, к = 1,..., _;

(Ь

(I

к=1

— = 0 ^ак =увк, к = 1,•••, _; (ек

61 = 0 ^ютф(хк) + Ь + вк = Ук, к = 1,..., _.

(а

к

(18)

После исключения ю и е получаем решение:

0 1Т

1_ О + - /_

" Ь' ' 0"

а _ У _

где у = (уь...,Уп), 1И = (1,--,1)Т, а = (<х15_,<хи) и Пк1 =ф(хк)Тф(х/) для

к, I = 1,., п . Результирующая Ь8-8УМ модель имеет вид

п

Уп (х) = ЕакК(X, Хк) + Ь, к=1

(20)

где К(х, Хк) - ядро скалярного произведения,

1

-1

1П1«+-1

п

(21)

£ I « +11

п

В случае выборок большого размера для получения оценок всех параметров вместо обращения матриц в (21) решают систему уравнений (19). Точность получаемого решения (20) во многом определяется настройкой внутренних параметров алгоритма Ь8-8УМ, к числу которых относят параметр регуляризации и параметры ядерных функций. Настройка этих параметров идет, как правило, с использованием внешних критериев качества моделей [22, 23].

РАЗБИЕНИЕ ВЫБОРКИ НА ОБУЧАЮЩУЮ И ТЕСТОВУЮ ЧАСТИ ДЛЯ МЕТОДА Ь8-8УМ

При рассмотрении точности оценивания модели (20) основное внимание

будем уделять точности оценивания параметров а , убирая из рассмотрение

* ^

параметр Ь через центрирование отклика по схеме у = у - Ь , как это сдела-

Обозначим оценки параметров а, полученные на обучающей выборке,

как

Для удобства различения точек обучающей и тестовой выборок будем обозначать координаты точек обучающей выборки через х, а координаты точек тестовой выборки через г. С учетом этого элементы ядерной матрицы Фв для вычисления прогноза в точке тестовой выборки будем обозначать как

но в (21).

V I У

где 0,А = К (х{, X]), г, ] = 1,..., пА

(Фв)] = К(гг,х/Xг = Iпв, ] = Ъ---,пА .

Прогнозные значения по модели, полученной на выборке А, рассчитываются так:

ув =Ф в а А + Ьа .

Ковариационная матрица ошибок прогноза на выборку В имеет вид

соу

(ув ) = (( + соу (ьа ))

(

Ф

в

1

ч-2

О л + -I

У

а ' "па

ФТВ + соу

(ЬА ),

где

соу

(ьа)

= ст

1Т [п+11

па

па

-2

па

па

1Т |п+11

У

па

-1

1

па

2

Средняя дисперсия прогноза вычисляется так:

( 1 Л-2

' (ув ) = ( + соу (ьа ))

к

П л +1 /П

У

фв фв / пв + соу ( ) .

Опираясь на утверждение 1, минимизировать среднюю дисперсию ст2 (Ув ) будем опосредовано через минимизацию определителя дисперсионной матрицы оценок параметров а . В нашем случае эта дисперсионная матрица имеет вид

-2

соу

(а А ) = ( + соу (ьа ))

[ 1 Л П А + -1,

У

па

(22)

Поведение соу (Ьа ) можно рассмотреть на следующем примере. В качестве ядерной функции возьмем гауссову (ИББ-ядро). В матрице О все диагональные элементы к(х{, х{) = 1. Недиагональные элементы неотрицатель-

-1

ны. Сумма всех элементов матрицы

(

1

-

\

п + - 1пА

У А у

достигает минимального

значения в том числе, когда ее недиагональные элементы близки к нулю. Это возможно, когда параметр масштаба гауссовой ядерной функции выбран достаточно большим или когда точки выборки расположены на достаточно большом расстоянии друг от друга. Будем считать, что это так, тогда

2 пА(у/(1 + у))2 ст2 „ „ „ ,

= ст —2-— = — . Именно такой дисперсией обладает

пл (У /(1 + У ))2 пА

~ т

оценка параметра Ь в виде среднего Ь = 1 у / пл. Учитывая, что

соу

(А

Г i ï

Q Л +- InA

l У A

Г 1 ï

Q A +" InA

l У A J

Г i ï

Q A +"

l У A J

и то, что матрица

(

1

Л

-1

Q A + - I

У

A ' "nA

положительно определена, будем рассматривать минимиза-

цию определителя

Г i ï

Q A +- InA

l У A J

или, что намного проще, - максимизацию

определителя

Г 1 ï Q A + -I

У

na

. Для определителя положительно определенной

матрицы известно свойство, что он меньше либо равен произведению диагональных ее элементов. Поскольку все диагональные элементы матрицы

ОА + — 1ПА равны (у +1) / у, можно заключить, что максимум определителя

У

_2

с

достигается при диагональной матрице О а . При этом ооу ( Ьа I = —. Таким

V ' Па

образом, в целях упрощения задачи минимизации определителя матрицы ко-вариации (22) будем решать задачу максимизации определителя

( К ^

. Тем самым мы будем строить дискретный ^-оптимальный

Q A

-I,

У

na

план объемом в па наблюдений, используя все точки имеющейся выборки.

В нашем случае для построения дискретного ^-оптимального плана удобно воспользоваться хорошо себя зарекомендовавшими последовательными алгоритмами [24, 25].

Обозначим через 05 матрицу размером я х я для обучающей выборки объемом в я наблюдений и состоящую из элементов

)ц = к(х1, Х! ) +1 Ъ, ', ] = 1, —, я . ■> у

Тогда на шаге я +1 матрица +1 будет иметь вид

Г Gs

Gs+1 =

F ( Xs +1)

Л

T 1

F ( +1) К ( +1, Xs +1) + —

где F (xs+1) = (K(X1,xs+1), К(%2,xs+1),.., К(xs,xs+1 )).

Определитель окаймленной матрицы легко вычисляется:

|Gs+1 = N * А(Xs+1^

где А( х5+1) =

К(Xs+1, Xs+1) + -У - fT (Xs +1 )G- 1f(Xs+1 )

У

Таким образом, очередная точка, включаемая в обучающую выборку,

отыскивается по следующей схеме: xs+1 = Argmax Д(x), где аргумент x при-

x

нимает значения координат точек исходной выборки, еще не включенных в обучающую часть.

ВЫЧИСЛИТЕЛЬНЫЙ ЭКСПЕРИМЕНТ

Разбиение выборки на обучающую и тестовую части, как мы уже отмечали, можно использовать для настройки параметров ядерных функций с целью получения решения с хорошей обобщающей способностью. Целью вычислительного эксперимента являлось сравнение полученных решений с разбиением выборки на тестовую и обучающую части случайным образом и с помощью D-оптимального планирования. В качестве критериев точности моделей использовался критерий регулярности и критерий скользящего прогноза (CV).

Для проведения исследования использовалась тестовая функция:

m(x) = 7/e(x+0 75) + 3x, заданная на отрезке [1; 1]. В качестве ядерной функции использовалось RBF-ядро. В качестве помехи использовались нормально распределенные величины. Уровень помехи (дисперсия случайной величины) выбирался как 5 % и 20 % от мощности незашумленного сигнала. Количество наблюдений выбиралось равным 10, 20 и 30. При проведении вычислительных экспериментов параметр регуляризации у принимал фиксированное значение 10. Подбор лучшего решения осуществлялся по параметру масштаба RBF-ядра, который варьировался от 10"1 до 101 с шагом 0,1.

В табл. 1-3 приведены усредненные по 30 реализациям шума значения среднеквадратичной ошибки (MSE) для метода LS-SVM с RBF-ядром. В таб-

2 2

лицах в столбцах, озаглавленных как CV, Дг^ (S), Дг^ (D), представлены

соответственно средние значения MSE, полученные при использовании критерия скользящего контроля, критерия регулярности на случайной тестовой выборке и критерия регулярности на тестовой выборке при D-опти-мальном разбиении. Условия экспериментов по строкам различались тем, что использовались различные варианты случайного разбиения выборки на обучающую и тестовую части. При этом реализации шума также различались. Разбиение выборки на обучающую и тестовую части с использованием D-оптимального планирования эксперимента фиксировалось одним и тем же.

Различие результатов по какому-либо столбцу Дг^( D) обусловлено использованием различных наборов реализаций шума. Это замечание справедливо и к результатам, отраженным в столбце CV.

Таблица 1

Средние значения критерия МБЕ для выборки объемом 10 наблюдений

при уровне шума 20 %

Номер варианта разбиения СУ Количество наблюдений в тестовой части в %

10 15 20 25

Л^О? ) Л ^С О) Л^О? ) Л ^С О) л^О? ) Л ^С О) Л^О?) Л ^С О)

1 0,024 0,014 0,041 0,019 0,019 0,019 0,019 0,013 0,019

2 0,028 0,165 0,032 0,020 0,016 0,020 0,016 0,019 0,016

3 0,024 0,012 0,026 0,021 0,018 0,021 0,018 0,013 0,017

4 0,027 0,015 0,040 0,015 0,023 0,015 0,023 0,016 0,025

5 0,025 0,039 0,014 0,022 0,024 0,022 0,024 0,017 0,021

6 0,023 0,013 0,045 0,021 0,033 0,021 0,033 0,115 0,021

7 0,022 0,051 0,023 0,014 0,014 0,014 0,014 0,014 0,015

8 0,024 0,028 0,028 0,018 0,028 0,018 0,028 0,015 0,026

9 0,022 0,164 0,031 0,035 0,024 0,035 0,024 0,013 0,022

10 0,022 0,088 0,034 0,060 0,030 0,060 0,030 0,016 0,021

11 0,024 0,137 0,036 0,038 0,022 0,038 0,022 0,033 0,021

12 0,025 0,059 0,031 0,018 0,027 0,018 0,027 0,014 0,028

13 0,024 0,168 0,013 0,028 0,019 0,028 0,019 0,013 0,020

14 0,023 0,141 0,045 0,030 0,025 0,030 0,025 0,014 0,017

15 0,026 0,118 0,034 0,168 0,022 0,168 0,022 0,030 0,020

16 0,024 0,206 0,040 0,013 0,020 0,013 0,020 0,023 0,020

17 0,024 0,182 0,034 0,055 0,018 0,055 0,018 0,024 0,017

18 0,024 0,019 0,037 0,045 0,019 0,045 0,019 0,014 0,019

19 0,025 0,013 0,047 0,014 0,018 0,014 0,018 0,038 0,020

20 0,022 0,103 0,049 0,019 0,029 0,019 0,029 0,025 0,021

Таблица 2

Средние значения МБЕ для выборки объемом 20 наблюдений при уровне шума 20 %

Номер варианта разбиения СУ Количество наблюдений в тестовой части в %

10 15 20 25

Л^О? ) Л Г^С О) Л^О? ) Л Г^С О) л^О? ) Л Г^С О) Л^О?) Л Г^С О)

1 0,009 0,017 0,010 0,011 0,011 0,011 0,008 0,015 0,009

2 0,009 0,037 0,015 0,007 0,010 0,007 0,008 0,011 0,008

3 0,009 0,016 0,010 0,009 0,011 0,008 0,009 0,009 0,008

4 0,008 0,013 0,009 0,006 0,009 0,014 0,006 0,012 0,006

5 0,009 0,007 0,014 0,009 0,010 0,009 0,009 0,007 0,008

6 0,009 0,010 0,013 0,006 0,011 0,006 0,008 0,012 0,008

7 0,009 0,009 0,011 0,007 0,009 0,007 0,008 0,009 0,008

8 0,010 0,007 0,020 0,011 0,011 0,007 0,009 0,011 0,010

9 0,008 0,023 0,015 0,006 0,010 0,012 0,008 0,009 0,009

10 0,008 0,012 0,012 0,009 0,009 0,016 0,008 0,009 0,008

11 0,009 0,033 0,013 0,018 0,013 0,010 0,009 0,007 0,009

12 0,008 0,014 0,010 0,016 0,009 0,006 0,008 0,011 0,008

13 0,010 0,015 0,014 0,013 0,011 0,010 0,009 0,007 0,007

14 0,009 0,014 0,012 0,008 0,010 0,007 0,009 0,009 0,007

15 0,010 0,011 0,013 0,008 0,009 0,014 0,009 0,009 0,009

16 0,009 0,007 0,010 0,008 0,009 0,007 0,009 0,009 0,007

17 0,008 0,018 0,010 0,011 0,010 0,013 0,008 0,007 0,008

18 0,009 0,085 0,020 0,008 0,011 0,011 0,008 0,007 0,008

19 0,009 0,012 0,009 0,037 0,010 0,011 0,008 0,007 0,009

20 0,009 0,013 0,010 0,014 0,010 0,008 0,008 0,011 0,008

Таблица 3

Средние значения МБЕ для выборки объемом 30 наблюдений при уровне шума 20 %

Номер варианта разбиения СУ Количество наблюдений в тестовой части в %

10 15 20 25

А^О?) А ^О О) А^О?) А ^О О) А^О?) А ^О О) А^О?) А О)

1 0,005 0,011 0,008 0,004 0,007 0,004 0,005 0,006 0,006

2 0,006 0,012 0,008 0,007 0,008 0,005 0,006 0,009 0,006

3 0,006 0,006 0,008 0,005 0,006 0,007 0,007 0,005 0,006

4 0,006 0,014 0,006 0,006 0,007 0,008 0,007 0,007 0,005

5 0,005 0,005 0,006 0,005 0,006 0,005 0,005 0,007 0,006

6 0,005 0,011 0,007 0,006 0,006 0,005 0,006 0,007 0,006

7 0,005 0,005 0,007 0,005 0,006 0,005 0,007 0,006 0,006

8 0,006 0,007 0,008 0,008 0,008 0,007 0,007 0,005 0,006

9 0,005 0,005 0,008 0,006 0,007 0,005 0,007 0,004 0,006

10 0,006 0,007 0,007 0,008 0,006 0,008 0,007 0,005 0,007

11 0,006 0,006 0,005 0,007 0,006 0,005 0,006 0,007 0,006

12 0,006 0,008 0,007 0,009 0,007 0,005 0,006 0,005 0,006

13 0,005 0,004 0,007 0,007 0,006 0,006 0,006 0,006 0,006

14 0,005 0,011 0,009 0,005 0,006 0,004 0,005 0,006 0,006

15 0,005 0,010 0,007 0,005 0,007 0,006 0,005 0,006 0,006

16 0,005 0,008 0,007 0,007 0,006 0,005 0,005 0,006 0,006

17 0,006 0,005 0,007 0,006 0,007 0,005 0,006 0,005 0,006

18 0,005 0,005 0,006 0,005 0,006 0,004 0,006 0,004 0,005

19 0,006 0,007 0,009 0,006 0,007 0,010 0,007 0,005 0,007

20 0,005 0,006 0,007 0,005 0,006 0,008 0,006 0,005 0,006

По представленным в табл. 1-3 средним значениям М8Е можно судить об устойчивости получаемых решений при использовании того или иного критерия качества. Как и следовало ожидать, качество решений при использовании критерия регулярности при случайном разбиении выборки на обучающую и тестовую части во многом зависит от самого варианта разбиения. Это наглядно представлено на рис. 1-2, на которых ось абсцисс - номер варианта случайного разбиения.

0,018 0,016 0,014 0,012 0,01 0,008 0,006 0,004 0,002 0

♦ ♦ А

°_о 2 ♦ 6

♦ ♦ о

о о О

—г-

♦ ♦

а и

О П

СУ

Случайное разбиение

Разбиение с помощью Б-оптимального плана

—I-1-1-1-1-1-1-1-1-1-1-1-1-1-1-1-1-1-1-1

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Рис. 1. График средних значений М8Е по 30 реализациям для выборки объемом 20 с количеством наблюдений 20 % в тестовой части (уровень шума 20 %)

0,016 0,014 0,012 0,01 0,008 0,006 0,004 0,002 0

О ♦

-♦—О Г) "

8 щ О щ I ' * 8 ♦

♦ ,6|о

СУ

Случайное разбиение

Разбиение с помощью Б-оптимального плана

—I-1-1-1-1-1-1-1-1-1-1-1-1-1-1-1-1-1-1-1

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Рис. 2. График средних значений МЕЕ по 30 реализациям для выборки объемом 20 с количеством наблюдений 25 % в тестовой части (уровень шума 20 %)

ЗАКЛЮЧЕНИЕ

В работе для получения модели оптимальной сложности на основе ЬЕ-ЕУМ предложен способ разбиения выборки на тестовую и обучающую части с использованием метода планирования эксперимента. Для получения ^-оптимального разбиения предложен последовательный алгоритм.

По результатам проведенных вычислительных экспериментов можно сделать выводы о том, что эффективность использования случайной тестовой выборки нестабильна и во много определяется конкретным вариантом разбиения. При этом стабильность результатов использования тестовой выборки, полученной при ^-оптимальном разбиении выборки, значительно выше. Качество получаемых решений при использовании для настройки параметров критериев СУ и регулярности на ^-оптимальной тестовой выборке близко. Таким образом, для решения задачи настройки параметров алгоритма ЬЕ-ЕУМ можно рекомендовать использовать разбиение выборки на обучающую и тестовую части по методу ^-оптимального планирования эксперимента.

СПИСОК ЛИТЕРАТУРЫ

1. Перельман И.И. Методология выбора структуры модели при идентификации объектов управления // Автоматика и телемеханика. - 1983. - № 11. - С. 5-29.

2. Романов В.Л. Выбор наилучшей линейной регрессии: сравнение формальных критериев // Заводская лаборатория. - 1990. - № 1. - С. 90-95.

3. Себер Дж. Линейный регрессионный анализ. - М.: Мир, 1980. - 456 с.

4. Степашко В.С., Кочерга Ю.Л. Методы и критерии решения задач структурной идентификации // Автоматика. - 1985. - № 5. - С. 29-37.

5. Кочерга Ю.Л. 1-оптимальная редукция структуры модели в схеме Гаусса-Маркова // Автоматика. - 1988. - № 4. - С. 34-38.

6. СарычевА.П. Усредненный критерий регулярности метода группового учета аргументов в задаче поиска наилучшей регрессии // Автоматика. - 1990. - № 5. - С. 28-33.

7. Степашко В.С. Асимптотические свойства внешних критериев выбора моделей // Автоматика. - 1988. - № 6. - С. 75-82.

8. Степашко В.С. Потенциальная помехоустойчивость моделирования по комбинаторному алгоритму МГУА без использования информации о помехах // Автоматика. - 1983. -№ 3. - С. 18-28.

9. Степашко В.С. Селективные свойства критерия непротиворечивости моделей // Автоматика. - 1986. - № 2. - С. 40-49.

10. Попов А.А. Методы планирования эксперимента в задачах синтеза моделей оптимальной сложности // Машинные методы планирования эксперимента и оптимизации многофакторных систем / Новосибирский электротехнический институт. - Новосибирск, 1987. -С. 54-58.

11. Попов А.А. Использование повторных выборок в критериях селекции моделей // Планирование эксперимента, идентификация, анализ и оптимизация многофакторных систем / Новосибирский электротехнический институт. - Новосибирск, 1990. - С. 82-88.

12. Лисицин Д.В., Попов А.А. Выбор структуры для многомерной динамической системы // Сборник научных трудов НГТУ. - 1997. - Вып. 1 (6). - С. 33-40.

13. Лисицин Д.В., Попов А. А. Исследование критериев селекции многомерных моделей при наличии разнотипных факторов // Труды третьей международной научно-технической конференции «Актуальные проблемы электронного приборостроения» АПЭП-96. - Новосибирск, 1996. - Т. 6, ч. 1. - С. 54-58.

14. Лисицин Д.В., Попов А.А. Исследование критериев селекции многооткликовых регрессионных моделей // Сборник научных трудов НГТУ. - 1996. - Вып. 2. - С. 19-28.

15. Лисицин Д.В., Попов А.А. Конструирование критериев селекции многомерных регрессионных моделей // Сборник научных трудов НГТУ. - 1996. - Вып. 1. - С. 13-20.

16. Лисицин Д.В., Попов А.А. Структурная оптимизация многомерных регрессионных моделей // Второй Сибирский Конгресс по прикладной и индустриальной математике: тезисы докладов. - Новосибирск, 1996. - С. 179.

17. Попов А. А. Планирование эксперимента в задачах разбиения выборки в МГУА // Сборник научных трудов НГТУ. - 1995. - Вып. 2. - С. 35-40.

18. Попов А.А. Разбиение выборки для внешних критериев селекции моделей с использованием методов планирования эксперимента // Заводская лаборатория. Диагностика материалов. - 1997. - № 1. - С. 49-53.

19. Юрачковский Ю.П., ГрошковА.Н. Применение канонической формы внешних критериев для исследования их свойств // Автоматика. - 1979. - № 3. - С. 85-89.

20. Федоров В.В. Активные регрессионные эксперименты // Математические методы планирования эксперимента. - Новосибирск: Наука, 1981. - С. 19-73.

21. Попов А.А. Оптимальное планирование эксперимента в задачах структурной и параметрической идентификации моделей многофакторных систем: монография. - Новосибирск: Изд-во НГТУ, 2013. - 296 с.

22. Least square support vector machines / J.A.K. Suykens, T. Van Gestel, J. De Brabanter, B. De Moor, J. Vandewalle. - New Jersey: World Scientific, 2002. - 290 p.

23. Попов А.А., Бобоев Ш.А. Построение регрессионных зависимостей с использованием квадратичной функции потерь в методе опорных векторов // Сборник научных трудов НГТУ. -2015. - № 3 (81). - С. 69-78.

24. Попов А.А. Последовательные схемы построения оптимальных планов эксперимента // Сборник научных трудов НГТУ. - 1995. - Вып. 1. - С. 39-44.

25. Попов А.А. Последовательные схемы синтеза оптимальных планов эксперимента // Доклады АН ВШ РФ. - 2008. - № 1 (10). - С. 45-55.

Попов Александр Александрович, доктор технических наук, профессор кафедры теоретической и прикладной информатики Новосибирского государственного технического университета. Основные направления научных исследований: статистические методы анализа данных, оптимальное планирование экспериментов. Имеет более 150 публикаций, в том числе 3 монографии. E-mail: a.popov@corp.nstu.ru

Бобоев Шараф Асрорович, аспирант кафедры теоретической и прикладной информатики Новосибирского государственного технического университета. Основное направление исследований - статистические методы анализа данных. Имеет 4 публикаций. E-mail: shboboev@mail.ru

Obtaining a test sample by the LS-SVMmethod using optimal experiment planning

A.A. POPOV1, ShA. BOBOEV2

1 Novosibirsk State Technical University, 20, K. Marx Prospekt, Novosibirsk, 630073, Russian Federation, D. Sc. (Eng.), professor. Е-mail: a.popov@corp.nstu.ru

Novosibirsk State Technical University, 20, K. Marx Prospekt, Novosibirsk, 630073, Russian Federation, a post-graduate student. Е-mail: shboboev@mail.ru

The problem of regression dependence recovery by the method of support vector machines with a quadratic loss function is studied in the paper. This method belongs to the kernel technique class. To set a number of LS-SVM algorithm internal parameters the problem of obtaining a test sample is discussed. Various criterions of model selection which are based on partitioning the sample into learning and test parts are presented. The problem of partitioning the sample into learning and test parts with the use of the D-optimal experiment planning method is considered in detail for the case of linear parametric regression models. This method of obtaining test samples is proposed to use for the LS-SVM method. A sequential algorithm is presented for obtaining the learning and test parts of the sample observations as applied to the LS-SVM method. To verify the efficiency of the proposed method of partitioning samples a computational experiment was conducted. An improvement of the LS-SVM solution accuracy was achieved by selecting the scale of the Gaussian kernel function. This parameter of the kernel function was selected by minimizing a prediction error in the sample test part. The final solution accuracy was tested by the mean-square error method. The computational experiment was carried out on simulated data. A nonlinear dependence on the input factor was selected as a data generating model. The variance of the noise (noise level) was determined as a percentage of a signal power. Two ways of sample partitioning were compared on the learning and test parts, namely random partitioning and partitioning by the D-optimal experiment planning method. The cross-validation criterion was also used to select the LS-SVM algorithm parameters. The results of computational experiments are given in tables and figures. Based on the results of the computational experiments, conclusions are made that the results of using a random test sample are unstable and largely depend on the specific partitioning option. Whereas the stability of test sample results obtained by D-optimal sample partitioning is much higher.

Keywords: regression, LS-SVM method, quadratic loss function, test sample training sample, optimal experiment planning, D-optimal plan, regularity criterion, cross-validation criterion, regularization coefficient, kernel function, mean square error

DOI: 10.17212/1814-1196-2016-4-80-99

REFERENCES

1. Perel'man I.I. Metodologiya vybora struktury modeli pri identifikatsii ob"ektov upravleniya [A methodology for the selection of the model structure when identification of objects of management]. Avtomatika i telemekhanika - Automation and Remote Control, 1983, no. 11, pp. 5-29. (In Russian)

2. Romanov V.L. Vybor nailuchshei lineinoi regressii: sravnenie formal'nykh kriteriev [The selection of the best linear regression: a comparison of formal criteria]. Zavodskaya laboratoriya - Industrial Laboratory, 1990, no. 1, pp. 90-95. (In Russian)

3. Seber G.A.F. Linear regression analysis. New York, Wiley, 1977 (Russ. ed.: Seber Dzh. Lineinyi regressionnyi analiz. Moscow, Mir Publ., 1980. 456 p.).

4. Stepashko V.S., Kocherga Yu.L. Metody i kriterii resheniya zadach strukturnoi identifikatsii [Methods and criteria of the solving problems of structural identification]. Avtomatika - Soviet Journal of Automation and Information Sciences, 1985, no. 5, pp. 29-37. (In Russian)

*

Received 30 August 2016.

5. Kocherga Yu.L. J-optimal'naya reduktsiya struktury modeli v skheme Gaussa-Markova [J-optimal reduction of structure of model in the scheme of Gauss-Markov]. Avtomatika - Soviet Journal of Automation and Information Sciences, 1988, no. 4, pp. 34-38. (In Russian)

6. Sarychev A.P. Usrednennyi kriterii regulyarnosti metoda gruppovogo ucheta argumentov v zadache poiska nailuchshei regressii [The averaged regularity criterion of group method of accounting arguments in the problem of finding the best regression]. Avtomatika - Soviet Journal of Automation and Information Sciences, 1990, no. 5, pp. 28-33. (In Russian)

7. Stepashko V.S. Asimptoticheskie svoistva vneshnikh kriteriev vybora modelei [The asymptotic properties of the external criteria of selection models]. Avtomatika - Soviet Journal of Automation and Information Sciences, 1988, no. 6, pp. 75-82. (In Russian)

8. Stepashko V.S. Potentsial'naya pomekhoustoichivost' modelirovaniya po kombinatornomu algoritmu MGUA bez ispol'zovaniya informatsii o pomekhakh [The potential noise immunity of modeling by combinatorial GMDH algorithm without using the interference information]. Avtomatika - Soviet Automatic Control, 1983, no. 3, pp. 18-28. (In Russian)

9. Stepashko V.S. Selektivnye svoistva kriteriya neprotivorechivosti modelei [The selective properties of the consistency criterion of models]. Avtomatika - Soviet Journal of Automation and Information Sciences, 1986, no. 2, pp. 40-49. (In Russian)

10. Popov A.A. [The methods of experimental planning in problems of optimal complexity models synthesis]. Mashinnye metody planirovaniya eksperimenta i optimizatsii mnogofaktornykh sistem [The machine methods of experimental planning and optimization of multifactor systems]. Novosibirsk electrotechnical institute. Novosibirsk, 1987, pp. 54-58.

11. Popov A.A. [The use of repeated samples in the criteria of selection models]. Planirovanie eksperimenta, identifikatsiya, analiz i optimizatsiya mnogofaktornykh sistem [Experiment planning, identification, analysis and optimization of multifactor systems]. Novosibirsk electrotechnical institute. Novosibirsk, 1990, pp. 82-88.

12. Lisitsin D.V., Popov A.A. Vybor struktury dlya mnogomernoi dinamicheskoi sistemy [The selection of structure for multidimensional dynamic systems]. Sbornik nauchnykh trudov Novosibir-skogo gosudarstvennogo tekhnicheskogo universiteta - Transaction of scientific papers of the Novosibirsk state technical university, 1997, no. 1 (6), pp. 33-40.

13. Lisitsin D.V., Popov A.A. [A researching of selection criteria of multidimensional models in the presence of different types of factors]. Trudy III mezhdunarodnoi nauchno-tekhnicheskoi kon-ferentsii "Aktual'nye problemy elektronnogopriborostroeniya"APEP-96 [Proceedings of Third international scientific-technical conference "Actual problems of electronic instrument engineering" APEIE-96]. Novosibirsk, 1996, vol. 6, pt. 1, pp. 54-58.

14. Lisitsin D.V., Popov A.A. Issledovanie kriteriev selektsii mnogootklikovykh regres-sionnykh modelei [A researching of selection criteria of multiresponse regression models]. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta - Transaction of scientific papers of the Novosibirsk state technical university, 1996, no. 2, pp. 19-28.

15. Lisitsin D.V., Popov A.A. Konstruirovanie kriteriev selektsii mnogomernykh regres-sionnykh modelei [The development of selection criteria of multidimentional regression models]. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta - Transaction of scientific papers of the Novosibirsk state technical university, 1996, no. 1, pp. 13-20.

16. Lisitsin D.V., Popov A.A. [The structural optimization of multidimentional regression models]. Vtoroi Sibirskii Kongress po prikladnoi i industrial'noi matematike: tezisy dokladov [The Second Siberian Congress on Industrial and Applied Mathematics: abstracts]. Novosibirsk, 1996, p. 179.

17. Popov A.A. Planirovanie eksperimenta v zadachakh razbieniya vyborki v MGUA [The experiment planning in problems of splitting the sample in GMDH]. Sbornik nauchnykh trudov Novosi-birskogo gosudarstvennogo tekhnicheskogo universiteta - Transaction of scientific papers of the Novosibirsk state technical university, 1995, no. 2, pp. 35-40.

18. Popov A.A. Razbienie vyborki dlya vneshnikh kriteriev selektsii modelei s ispol'zovaniem metodov planirovaniya eksperimenta [The splitting of sample for the external criteria of selection models using experiment planning methods]. Zavodskaya laboratoriya. Diagnostika materialov -Industrial laboratory. Materials diagnostics, 1997, no. 1, pp. 49-53. (In Russian)

19. Yurachkovskii Yu.P., Groshkov A.N. Primenenie kanonicheskoi formy vneshnikh kriteriev dlya is-sledovaniya ikh svoistv [The use of canonical form of external criteria for the research of their properties]. Avtomatika - Soviet Automatic Control, 1979, no. 3, pp. 85-89. (In Russian)

20. Fedorov V.V. [The active regression experiments]. Matematicheskie metody planirovaniya eksperimenta [The mathematical methods of experimental planning]. Novosibirsk, Nauka Publ., 1987, pp. 19-73.

21. Popov A.A. Optimal'noe planirovanie eksperimenta v zadachakh strukturnoi i parametric-cheskoi identifikatsii modelei mnogofaktornykh sistem [The optimal experiment planning in problems of structural and parametric identification of multifactor systems models]. Novosibirsk, NSTU Publ., 2013. 296 p.

22. Suykens J.A.K., Gestel T. van, Brabanter J. de, Moor B. de, Vandewalle J. Least square support vector machines. New Jersey, World Scientific, 2002. 290 p.

23. Popov A.A., Boboev Sh.A. Postroenie regressionnykh zavisimostei s ispol'zovaniem kvadratichnoi funktsii poter' v metode opornykh vektorov [The construction of a regression relationships using least square in support vector machines]. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta - Transaction of scientific papers of the Novosibirsk state technical university, 2015, no. 3 (81), pp. 69-78.

24. Popov A.A. Posledovatel'nye skhemy postroeniya optimal'nykh planov eksperimenta [The sequential schemes constructing of the optimal experiment plans]. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta - Transaction of scientific papers of the Novosibirsk state technical university, 1995, no. 1, pp. 39-44.

25. Popov A.A. Posledovatel'nye skhemy sinteza optimal'nykh planov eksperimenta [Sequential schemes of synthesis of optimum plans of experiment]. Doklady Akademii nauk vysshei shkoly Rossiiskoi Federatsii - Proceedings of the Russian higher school Academy of sciences, 2008, no. 1 (10), pp. 45-55.

ISSN 1814-1196, http://journals.nstu.ru/vestnik Science Bulletin of the NSTU Vol. 64, No 3, 2016, pp. 80-99