Получение разреженных решений методом LS SVM через построение выборки с помощью методов оптимального планирования и внешних критериев качества моделей Текст научной статьи по специальности «Математика»

Оригинальная статья / Original article УДК 519.23

http://dx.doi.org/10.21285/1814-3520-2018-1 -100-117

ПОЛУЧЕНИЕ РАЗРЕЖЕННЫХ РЕШЕНИЙ МЕТОДОМ LS SVM ЧЕРЕЗ ПОСТРОЕНИЕ ВЫБОРКИ С ПОМОЩЬЮ МЕТОДОВ ОПТИМАЛЬНОГО ПЛАНИРОВАНИЯ И ВНЕШНИХ КРИТЕРИЕВ КАЧЕСТВА МОДЕЛЕЙ

© А.А. Попов1, Ш.А. Бобоев2

Новосибирский государственный технический университет, Российская Федерация, 630073, г. Новосибирск, пр-кт К. Маркса, 20.

РЕЗЮМЕ. ЦЕЛЬ. Рассматриваются способы получения разреженных решений на основе метода опорных векторов с квадратичной функцией потерь (LS SVM). МЕТОДЫ. Выполняется разбиение выборки на обучающую и тестовую части для получения разреженного решения. Приводится последовательный алгоритм получения обучающей и тестовой частей выборки наблюдений с использованием метода D-оптимального планирования эксперимента применительно к методу LS SVM. Также приведены последовательные алгоритмы разбиения выборки на части с использованием критерия согласованности. Для проверки работоспособности предлагаемого метода разбиения выборки проведен вычислительный эксперимент. В нем повышение точности решений по LS SVM проводилось посредством подбора масштаба гауссовой ядерной функции. Данный параметр ядерной функции подбирался по минимуму ошибки прогноза на тестовой части выборки. Окончательно точность получаемых решений проверялась по среднеквадратичной ошибке. РЕЗУЛЬТАТЫ И ИХ ОБСУЖДЕНИЕ. Вычислительный эксперимент проводился на модельных данных. В качестве модели, порождающей данные, была выбрана нелинейная зависимость от входного фактора. Дисперсия помехи (уровень шума) определялась в процентах от мощности сигнала. Сравнивались три способа разбиения выборки на обучающую и тестовую: путем замены точек, исключение точек и включение точек в обучающей части. Для выбора параметров алгоритма LS SVM использовался также критерий перекрестной проверки. ВЫВОДЫ. Результаты проведенных вычислительных экспериментов показали, что для получения разреженного решения методом LS SVM можно использовать выборку, разделенную на части с использованием D-оптимального планирования эксперимента.

Ключевые слова: регрессия, метод LS SVM, квадратичная функция потерь, тестовая выборка, обучающая выборка, оптимальное планирование эксперимента, D-оптимальный план, критерий согласованности, критерий скользящего контроля, коэффициент регуляризации, ядерная функция, среднеквадратичная ошибка.

Формат цитирования: Попов А.А., Бобоев Ш.А. Получение разреженных решений методом LS SVM через построение выборки с помощью методов оптимального планирования и внешних критериев качества моделей // Вестник Иркутского государственного технического университета. 2018. Т. 22. № 1. С. 100-117. DOI: 10.21285/1814-3520-2018-1-100-117

OBTAINING SPARSE SOLUTIONS BY LS SVM METHOD THROUGH SAMPLE CONSTRUCTION BY OPTIMAL EXPERIMENT DESIGN METHOD AND MODEL QUALITY CRITERIA A.A. Popov, Sh.A. Boboev

Novosibirsk State Technical University,

20 K. Marks pr., Novosibirsk 630073, Russian Federation

ABSTRACT. PURPOSE. The paper deals with the methods of obtaining sparse solutions based on the least square support vector machines (LS SVM). METHODS. The sample is split into the training and test parts in order to obtain a sparse solution. A sequential algorithm is given to receive the training and test parts of the observation sample using the method of D-optimal experiment design as applied to the LS SVM method. We also present the sequential algorithms of sample splitting into parts using the consistency criterion. To testify the operation efficiency of the proposed sample splitting method a computational experiment is conducted where the solution accuracy by LS SVM is improved through adjusting of the scale of the Gaussian kernel function. This parameter of the kernel function is selected by minimizing the prediction error on the sample test part. Finally, the accuracy of the obtained solutions is tested by the mean-square er-

Попов Александр Александрович, доктор технических наук, профессор кафедры теоретической и прикладной информатики, e-mail: a.popov@corp.nstu.ru

Alexander A. Popov, Doctor of technical sciences, Professor of the Department of Theoretical and Applied Informatics, e-mail: a.popov@corp.nstu.ru

2Бобоев Шараф Асрорович, аспирант, e-mail: shboboev@mail.ru Sharaf A. Boboev, Postgraduate Student, e-mail: shboboev@mail.ru

ror. RESULTS AND THEIR DISCUSSION. The computational experiment was performed on simulated data. A nonlinear dependence on the input factor was selected to be a data generating model. The variance of noise (noise level) was determined as the percentage of the signal strength. Three methods of sample splitting into the training and test parts including replacement, rejection and inclusion of points into the training part have been compared. The cross-validation method has been used to select the parameters of the LS SVM algorithm. CONCLUSIONS. The results of conducted computational experiments have shown that a sparse solution by the LS-SVM method can be obtained through the use of the sample split into parts using the D-optimal experiment design.

Keywords: regression, LS SVM method, quadratic loss function, test sample, training sample, optimal experiment planning, D-optimal plan, consistency criterion, cross-validation criterion, regularization coefficient, kernel function, mean square error

For citation: Popov A.A., Boboev Sh.A. Obtaining sparse solutions by LS SVM method through sample construction by optimal experiment design method and model quality criteria. Proceedings of Irkutsk State Technical University. 2018, vol. 22, no. 1, pp. 100-117. (In Russian) DOI: 10.21285/1814-3520-2018-100-117

Введение

На сегодняшний день метод опорных векторов с квадратичной функцией потерь (LS SVM) является одним из мощных инструментов восстановления регрессионной зависимости. Он является модификацией алгоритма опорных векторов (SVM). Метод SVM впервые был обобщен Вапником для оценивания действительных функций [1]. Позднее Сайкенсом было предложено его расширение с использованием квадратичной функции потерь, которое и получило название LS SVM [2].

Одним из важных этапов построения регрессии с использованием метода LS SVM является настройка ряда его внутренних параметров [3-5]. При использовании произвольных значений параметров алгоритма LS SVM качество получаемых решений может существенно варьироваться. Важнейшей характеристикой тех или иных методов построения регрессионных зависимостей является их способность осуществлять сжатие информации. В случае классических линейных параметрических моделей это достигается тем, что используются экономичные по числу регрессоров модели. В случае непараметрических методов построения регрессии, к коим относится и метод SVM, ситуация иная. В общем случае не удается существенно сжать информацию, поскольку в модельном описании используется значительная часть обучающей выборки. Это приводит к необходимости хранить в описании модели всю использованную для ее построения выборку. В то же время при использовании классического SVM имеется возможность построения разреженных решений. Разреженное решение характеризуется тем, что в его аддитивном разложении по ядерным функциям задействуются не все точки выборки. Это достигается за счет использования функции потерь г-нечувстительности Вапни-ка. Именно точки, которые попадают в зону г-нечувстительности, не участвуют в построении решения.

При использовании метода SVM с квадратичной функцией потерь для получения разреженных решений приходится прибегать к специальным приемам. Например, для их получения можно воспользоваться подходом, предложенным в работе [6]. Основная идея при этом состоит в отбрасывании точек выборки, для которых параметры в аддитивном разложении решения по ядерным функциям имеют малые по модулю значения. Другим подходом в получении разреженных решений может быть разбиение имеющейся выборки на обучающую и тестовую части. При этом обучающая часть и составит выборку, по которой будут вычисляться решения. По отношению к полной выборке эти решения будут разреженными. Важно здесь и то, что получаемая тестовая выборка может быть использована для вычисления на ней критериев качества решений, по которым можно вести настройку внутренних параметров алгоритма. Эти критерии, связанные с точностью прогноза на тестовой выборке, относятся к классу внешних критериев и широко используются для выбора линейных параметрических моделей оптимальной сложности [7-15]. Разбиение выборки на обучающую и тестовую части мож-

но проводить с использованием методов оптимального планирования эксперимента [16-21].

В данной работе мы рассмотрим возможность получения разреженных решений посредством формирования обучающей части выборки с привлечением методов оптимального планирования эксперимента и использованием одного из известных критериев качества моделей, известного как критерий согласованности [19]. Основная идея, которая используется при построении критерия согласованности, состоит в том, что решения, получаемые при использовании разных частей выборки, не должны сильно различаться.

LS SVM регрессия

Рассмотрим задачу восстановления зависимости по зашумленным данным. Дана обучающая выборка

£>п = {(хк> Ук) • хк е Х,ук е У; к = 1,. „, п} объема п наблюдений вида:

Уk = m() + ек,к = 1,...,п - (1)

где ек е Я будем считать независимой и одинаково распределенной ошибкой с Е\ек\х = хк ] = 0 и Уаг \ек ] = ^2 <» ; т (-) - неизвестная действительная гладкая функция и Е\ук\х = хк ] = т (хк). Вместо неизвестной функции т (х) будем использовать ее аппроксимацию в виде /(х) = юТр(х) + Ь. Функционал эмпирического риска использования такой аппроксимации имеет вид:

1 п ч 2

ЯтР 0 = -Т((®ТНхк) + Ь)-Ук) . (2)

п к=1

Задачу нахождения вектора с и b е R можно свести к решению следующей задачи оптимизации [2]:

1 1 "

minJ (с,в ) = —aTa +—ytel (3)

с, b, e V / 2 t! k

в предположении, что у = аТф(хк) + Ь + ек, к = 1,...,п.

В равенстве (3) параметр регуляризации у отвечает за сложность модели, которая в данном случае определяется нормой вектора со. Решение задачи (3) обычно проводят в двойственном пространстве с использованием функционала Лагранжа:

n

L (p,b,e,a ) = J (c,e )- tak (сР( xk ) + b + ek- Ук ) (4)

k=1

с лагранжевыми множителями ake R .

Условия оптимальности задаются следующим образом:

dL n

— = 0^m = Yakç(xk), k = l,..., n;

dm k=i k v k/

dL n

— = 0 = 0,k = 1,...,n;

db k

k=1

dL

— = 0 ^ak = yek,k = 1,...,n;

dek

dL

da

= 0 xk) + b + ek = Уk, k = I ..V

n.

(5)

После исключения m и e получаем следующее решение:

0

1T

l

in Q+-In У

" b b ~ 0 "

a _ y _

(6)

где y = (yv...,yn)г, in =(l,...,l)r, a = (âv...,ân) и Qkl = ç(xk)Tcp(x,) для k,l = 1,...,n. Результирующая LS SVM модель имеет вид

n

Уп{х) = л£1ХкК(х'хк)+ъ ■

k=1

(7)

где K ( x,xk ) - ядро скалярного произведения;

f

1

Y

b = —^

f

Q + -1

У ' J

У

í

Q + -1

Y

-, a =

Q + -У

N-l

(8)

У J

В случае выборок большого размера для получения оценок всех параметров вместо обращения матриц в (8) решают систему уравнений (6). Более подробное описание алгоритма LS SVM приведено в работах [1, 22].

Разреженное решение по методу LS SVM

Предположим, что выборка наблюдений W разбита на две части - A и B. Соответственно пА - объем обучающей выборки, а пв - объем тестовой выборки. Тогда для получения разреженного решения переписываем (6) в следующем виде:

T

1

1n, ^A +" In

A у ■

" b " " 0 "

а A _ _ Уа _

(9)

где ул =(y,...,упа)T - точки из обучающей выборки; =(1,...,1 )т, âa =(â1 ,...,а„л) Qkl =v( ХАк )T (р( ХА1 ) для k,l = ,-А .

Результирующая разреженная LS SVM модель имеет вид

"л

у(х) = ^акК(х,хк) + Ъ,

(10)

k=1

где К (х,хк) - ядро скалярного произведения, полученное на основе точек исходной и обучающей выборки;

К

ъ = —^

(

V1

Я А +'

у А J

Уа

1T

ÜA +11

V1

-, а =

Я А +-1 n

v у '

[ул- Kb)-

(11)

у А J

и

А

Разбиение выборки на обучающую и тестовую части для метода LS SVM с помощью ^-оптимального планирования эксперимента

При рассмотрении точности оценивания модели (1) основное внимание будем уделять точности оценивания параметров а , убирая из рассмотрения параметр Ь через центрирование отклика по схеме у =у-Ь, как это сделано в (8).

Обозначим оценки параметров а, полученные на обучающей выборке, как

(

а а =

v

N-1

ßA +у '-A J (У. ),

где Оа=к(х1,х^, /',7 = 1 ,...,пА.

С учетом этого элементы ядерной матрицы Фв для вычисления прогноза в точки тестовой выборки будем обозначать как

(ФВ\, = К(/' = 1, • • 7 = 1, • • ;П4 . Прогнозные значения по модели, полученной на выборке А, рассчитываются как

ув =Фвал+Ьл.

Ковариационная матрица ошибок прогноза на выборку в имеет вид:

covГ y B) = Га2 + covГ bA ))ФВГ ÖA + -1 )-2 ФВ + covГ Ьа ) ,

r A

где

f

rn^J = а

1

Y

Ö + In, . r A J

f

1

Y-

Ö + In,

r nA J

2

Средняя дисперсия прогноза вычисляется как

2

T

1

1

n

A

а2ГУв) = Га2 + covßA)MÖA + - 1ПаУ2Ф1Фв/Пв + covßA).

r A

Минимизацию средней дисперсии а2(ув) будем проводить опосредованно через минимизацию определителя дисперсионной матрицы оценок параметров а . В нашем случае эта дисперсионная матрица имеет вид:

covГ а a) = Га2 + covГ Ьа))Г Öa + -1 )~2.

r A

(12)

Поведение соу(Ъа) можно рассмотреть на следующем примере. В качестве ядерной возьмем Гауссову функцию (RBF-ядро). В матрице п все диагональные элементы к(хРх) = 1. Недиагональные элементы неотрицательны. Сумма всех элементов матрицы

О+—т достигает минимального значения, в том числе тогда, когда ее недиагональные

у А J

элементы близки к нулю. Это возможно, когда параметр масштаба гауссовой ядерной функции выбран достаточно большим или когда точки выборки расположены на достаточно большом расстоянии друг от друга. Будем считать, что это так, тогда

covГbA) = а

2 пагг /г -+r))2

пАГг/Г -+r)f

n

Именно такой дисперсией обладает оценка параметра Ь в виде среднего Ъ = \ту/пА.

и то, что матрица (ОА +—/ ) 1

Учитывая, что - Г ÖA + -1 Ялг2 = Г ÖA + -1 nj1 * Г ÖA + -1 плГ*

r A A r nA A r nA

r

положительно определена, будем рассматривать минимизацию определителя

Г Qa+- IJ-X

r

или, что намного проще, максимизацию определителя

( ^n + - IJ

У n

Для определителя положительно определенной матрицы известно свойство, что он меньше, либо равен произведению ее диагональных элементов. Поскольку все диагональные

элементы матрицы +1 / равны (/ + !)/ у, можно заключить, что максимум определите-

У

а

ля достигается при диагональной матрице ПА. При этом соу(Ьа) =—. Таким образом, в це-

n

лях упрощения задачи минимизации определителя матрицы ковариации (12) будем решать

задачу максимизации определителя

( ^n + - Inj У n

. Тем самым мы будем строить дискретный

О-оптимальный план объемом в пА наблюдений, используя все точки имеющейся выборки.

В нашем случае для построения дискретного О-оптимального плана удобно воспользоваться хорошо себя зарекомендовавшими последовательными алгоритмами [19-21].

Обозначим через ^ матрицу размером 5x5 для обучающей выборки объемом в 5

наблюдений и состоящую из элементов = К(хрх¡) + — =!,...,£ .

У

Тогда на шаге s + 1 матрица Gs+1 будет иметь вид:

Г G.

G.+l =

F(xs+l) Л

ft(x.+i ) K(x.+l ,x.+l) +

У )

где Рт(х^) = (К(х1,х^),К(х2,х^),...,К(х^х^)).

Определитель окаймленной матрицы легко вычисляется как

gj=|g.|* л^ 1 ;,

где A(x^) = [K(xs+l ,xs+l) + i - FT(xs+1)G;1F(xs+1)J.

7

Таким образом, очередная точка, включаемая в обучающую выборку, отыскивается по следующей схеме: xs+1 = ArgmaxA(x) , где аргумент х принимает значения координат точек

x

исходной выборки, еще не включенных в обучающую часть.

Разбиение выборки на обучающую и тестовую части опирается на матрицу Gs, элементы которой зависят от параметров используемых ядерных функций. Очевидно, что перед проведением процедуры D-оптимального разбиения эти параметры необходимо каким-то образом оценить. Можно пойти по традиционному пути, используя критерий контроля по отдельным объектам. Контроль по отдельным объектам (Leave-One-Out, LOO) является частным случаем полного скользящего контроля. Это самый распространенный вариант скользящего

контроля. В нем каждый объект ровно один раз участвует в контроле, а длина обучающих подвыборок лишь на единицу меньше длины полной выборки. Данный вариант является преимуществом LOO, а его недостатком - большая ресурсоемкость: задачу обучения приходится решать n-1 раз, что сопряжено со значительными вычислительными затратами.

Для получения оценки с помощью метода LOO запишем решение системы (6) в виде X = A-Y.

На каждой итерации скользящего контроля i -е наблюдение исходной выборки используется в качестве контрольного, а все остальные составляют обучающую подвыборку. Таким образом, на i -й итерации мы имеем СЛАУ вида

Ai Xi = Y .

Здесь Аг представляет собой квадратную матрицу, которая имеет тот же ранг, что и А, но все элементы г -го столба в ней заменены нулями, за исключением элемента А (г,г), который остается неизменным. Рассмотрим простой пример, когда исходная выборка состоит из трех наблюдений, а второе наблюдение используется в качестве контрольного. Таким образом:

A=

0 111

1 a11 a12 a13

1 a21 a22 a23

1 1 ^Озз

; A2 =

0111

1 an 0 a13

1 a21 a22 a23

1 a31 0 a33

-1

Легко проверить, что Хг = Аг У является решением на г -й итерации. При этом г -й элемент Хг тривиален в силу того, что г -е наблюдение исключается из обучающей выборки.

Нашей целью является получение новых значений у1оо (х) в обучающей выборке. Для этого решаем следующую СЛАУ:

" 0 í " " b ' ' 0 "

_1n Ai _ а _ У _

Далее вычисляем значение угоо (x) по формуле

к

yim{x) = ljXlK{x'xI) + b ■ i=l

В самом конце вычисляем значение LOO по формуле ISSN 1814-3520 ВЕСТНИК ИрГТУ Том 22, № 1 2018 / PROCEEDINGS of ISTU Vol. 22, No. 1 2018 107

100 = - ¿(л "У* (x)j ■

Важно также, чтобы получаемое разреженное решение не имело какого-либо смещения. В вычислительном эксперименте удобным критерием контроля точности получаемых решений является среднеквадратичная ошибка MSE:

1 " 9

MSE = - ¿(и, - y )2,

п ,=1

где г/., j>.,7 = \,...,п соответственно незашумленное и оцененное по модели значение отклика.

Разбиение выборки на части с использованием критерия согласованности

Предложенный в предыдущем пункте метод получения разреженного решения предполагает использование обучающей выборки, свойства которой обеспечивают получение на ней решения, обеспечивающего наименьшую дисперсию предсказания на тестовой части выборки. Можно пойти по другому пути, формируя обучающую выборку через минимизацию критерия согласованности:

W л

F2 =

У(А) - У

У - У(В)

n

У V

где у(А) = Фал+Ьл - прогнозные значения по модели, оцененной на обучающей выборке, у(В) = Фав +Ьв - прогнозные значения по модели, оцененной на тестовой выборке и

у = Фа + Ь - прогнозные значения по модели, оцененной по всей выборке.

Критерий согласованности может быть также задействован в рассмотренном выше алгоритме разбиения выборки на обучающую и тестовую части по процедуре D-оптимального планирования эксперимента на заключительном этапе при уточнении внутренних параметров алгоритма LS SVM.

Для разбиения выборки на обучающую и тестовую части с использованием критерия согласованности приведем три алгоритма.

Вариант включения

1. Выполняем предварительное оценивание параметра той или иной ядерной функции с использованием критерия скользящего контроля (LOO).

2. Последовательно, по схеме наращиваем объем обучающей выборки до заданного объема. Каждая новая точка, включаемая в обучающую часть, выбирается по минимуму критерия согласованности V2. Периодически или после каждого включения новой точки производим подстройку параметров ядерной функции. Новое значение параметра ядерной функции выбираем в том случае, если при нем удается получить лучшее значение критерия V2 ■

Вариант исключения

1. Выполняем предварительное оценивание параметра той или иной ядерной функции с использованием критерия LOO.

2. Последовательно, по схеме наращиваем объем тестовой выборки, т.е. исключаем точки из обучающей выборки. Каждая новая точка, включаемая в в, выбирается по минимуму критерия V2. Точки, не включенные в В, образуют обучающую выборку. Периодически или после каждого включения новой точки производим подстройку параметров ядерной функции. Новое значение параметра ядерной функции выбираем в том случае, если при нем удается получить лучшее значение критерия V2 ■

Вариант замены:

1. Выполняем предварительное оценивание параметра той или иной ядерной функции с использованием критерия LOO.

2. Выполняем D -оптимальное разбиение исходной выборки на части A и в с числом наблюдений п + пв = п. Выполняем поиск оптимального значения параметров ядерных

функций по критерию V2.

3. Алгоритм последовательной замены по уточнению состава обучающей выборки A. Точки из выборки A поочередно заменяем точками выборки в. После каждой замены вычисляем критерий согласованности, который будем обозначать как V2(±), а значение критерия до замены как V2. Если окажется, что V2(±) < V2, то данную замену оставляем в силе и присваиваем V2 значение равное V2(±). Если удачных замен нет, то останов. После шага 3 состав точек в обучающей выборке может измениться. Можно попытаться улучшить получаемое разреженное решение, вводя дополнительный шаг.

4. Выполняем поиск оптимального значения параметров ядерных функций по критерию V2 с использованием обучающей выборки, полученной на шаге 3.

Данный алгоритм позволяет уточнить состав точек обучающей выборки, которая была получена по процедуре D-оптимального планирования эксперимента.

Вычислительный эксперимент

Целью вычислительного эксперимента являлось сравнение полученных разреженных решений с разбиением выборки на тестовую и обучающую части с помощью D-оптимального планирования и критерия согласованности.

Для проведения исследования использовалась тестовая функция:

m(x) = 7/e^x+0'75^ + 3x, заданная на отрезке [-1;1]. В качестве ядерной функции использовалось RBF ядро. В качестве помехи использовались нормально распределенные величины. Уровень помехи (дисперсия случайной величины) выбирался от 5 до 25% от мощности неза-шумленного сигнала. Количество наблюдений было выбрано 10, 20, 30 и 50. При проведении вычислительных экспериментов параметр регуляризации принимал фиксированное значение, равное 10. Подбор лучшего решения осуществлялось по параметру масштаба RBF ядра, который варьировался от 10-5 до 10° с шагом 0,1.

Ниже в табл. 1-5 приведены значения среднеквадратичной ошибки (MSE), рассчитанной по полученным решениям на основе того или иного алгоритма извлечения обучающей выборки. В строках «без разбиения» указываются значения MSE для неразреженных решений, полученных на полных выборках. Настройка параметров ядерных функций в этом случае проводилась по критерию LOO. Условия экспериментов по столбцам различались тем, что использовалось разное количество точек в тестовой части в процентном выражении от объема полной выборки.

На рис. 1, 2 приведены графики значений MSE при использовании D-оптимального плана и других вариантов разбиения выборки с использованием критерия согласованности. Можно сравнивать между собой неразреженное решение и наполовину разреженное при 50%-ной тестовой части. Видно, что получаемые разреженные решения при D-оптимальном разбиении выборки лишь немногим проигрывает неразреженным по величине MSE. При этом, если использовать вариант разбиения на основе критерия согласованности, то улучшения качества решения с позиции MSE чаще всего не наблюдается. Это позволяет говорить о том, что для получения разреженного решения можно использовать обучающую выборку, полученную с использование D-оптимального разбиения ее на части.

Таблица 1

Значение MSE при 5%-ном уровне шума

Table 1

MSE value at 5% noise level

Объем выборки/ Sample size Вариант разбиения/ Splitting variant Количество точек в тестовой части / Number of points in the test part, %

5 10 15 20 25 30 35 40 45 50

N=10 без разбиения / without splitting 0,0159 0,0159 0,0159 0,0159 0,0159 0,0159 0,0159 0,0159 0,0159 0,0159

D-опт. план / D-optimal plan 0,0159 0,0159 0,0228 0,0228 0,0051 0,0051 0,0051 0,0051 0,0051 0,0051

замена/ replacement 0,0159 0,0159 0,3142 0,3142 0,0051 0,0051 0,0046 0,0046 0,0046 0,0046

исключение / rejection 0,2031 0,2031 0,3142 0,3142 0,3142 0,3142 0,0051 0,0051 0,0051 0,0051

включение / inclusion 0,0159 0,0159 0,0228 0,0228 0,0051 0,0051 0,0046 0,0046 0,0051 0,0051

N=20 без разбиения / without splitting 0,0040 0,0040 0,0040 0,0040 0,0040 0,0040 0,0040 0,0040 0,0040 0,0040

D-опт. план / D-optimal plan 0,0079 0,2050 0,2381 0,2381 0,2381 0,0025 0,0029 0,0029 0,0025 0,0029

замена/ replacement 0,0079 0,0029 0,2381 0,2381 0,0029 0,0029 0,0029 0,0029 0,0029 0,0029

исключение / rejection 0,2050 0,0029 0,2381 0,0029 0,0029 0,0029 0,0029 0,0029 0,0025 0,0029

включение / inclusion 0,0079 0,2050 0,2381 0,2381 0,2381 0,0025 0,0029 0,0029 0,0025 0,0029

N=30 без разбиения / without splitting 0,0029 0,0029 0,0029 0,0029 0,0029 0,0029 0,0029 0,0029 0,0029 0,0029

D-опт. план / D-optimal plan 0,0163 0,2225 0,0027 0,0027 0,0027 0,0027 0,0027 0,0027 0,0027 0,0027

замена/ replacement 0,2225 0,2225 0,0027 0,0027 0,0027 0,0027 0,0027 0,0027 0,0027 0,0027

исключение / rejection 0,2225 0,2225 0,0027 0,0027 0,0027 0,0027 0,0027 0,0027 0,0027 0,0027

включение / inclusion 0,0163 0,2225 0,0027 0,0027 0,0027 0,0027 0,0027 0,0027 0,0027 0,0027

N=50 без разбиения / without splitting 0,0011 0,0011 0,0011 0,0011 0,0011 0,0011 0,0011 0,0011 0,0011 0,0011

D-опт. план / D-optimal plan 0,1973 0,1973 0,0022 0,0026 0,0026 0,0026 0,0026 0,0026 0,0026 0,0026

замена/ replacement 0,1973 0,1973 0,0026 0,0026 0,0026 0,0026 0,0026 0,0026 0,0026 0,0026

исключение / rejection 0,1973 0,1973 0,0026 0,0026 0,0026 0,0026 0,0026 0,0026 0,0026 0,0026

включение / inclusion 0,1973 0,1973 0,0022 0,0026 0,0026 0,0026 0,0026 0,0026 0,0026 0,0026

Таблица 2

Значение MSE при 10%-ном уровне шума

Table 2

MSE value at 10% noise level

Объем выборки/ Sample size Вариант разбиения/ Splitting variant Количество точек в тестовой части / Number of points in the test part, %

5 1G 15 2G 25 3G 35 4G 45 5G

N=1G без разбиения / without splitting G,G226 G,G226 G,G226 G,G226 G,G226 G,G226 G,G226 G,G226 G,G226 G,G226

D-опт. план / D-optimal plan G,G532 G,G532 G,G532 G,G532 G,3147 G,3147 G,G123 G,G123 G,G123 G,G123

замена/ replacement G,G532 G,G532 G,3147 G,3147 G,G123 G,G123 G,G118 G,G118 G,G118 G,G118

исключение / rejection G,25G5 G,25G5 G,G118 G,G118 G,G123 G,G123 G,G123 G,G123 G,G123 G,G123

включение / inclusion G,G532 G,G532 G,G532 G,G532 G,3147 G,3147 G,G123 G,G123 G,G123 G,G123

N=2G без разбиения / without splitting G,GG51 G,GG51 G,GG51 G,GG51 G,GG51 G,GG51 G,GG51 G,GG51 G,GG51 G,GG51

D-опт. план / D-optimal plan G,GG51 G,GG43 G,2381 G,2381 G,GG43 G,GG39 G,GG43 G,GG43 G,GG39 G,GG43

замена/ replacement G,G143 G,GG43 G,2381 G,2381 G,GG43 G,GG43 G,GG43 G,GG43 G,GG43 G,GG43

исключение / rejection G, 1763 G,2381 G,2381 G,2381 G,GG43 G,GG39 G,GG43 G,GG43 G,GG39 G,GG43

включение / inclusion G,GG51 G,GG43 G,2381 G,2381 G,GG43 G,GG43 G,GG43 G,GG43 G,GG39 G,GG43

N=3G без разбиения / without splitting G,GG45 G,GG45 G,GG45 G,GG45 G,GG45 G,GG45 G,GG45 G,GG45 G,GG45 G,GG45

D-опт. план / D-optimal plan G,G1GG G,2218 G,GG44 G,GG44 G,GG44 G,GG44 G,GG44 G,GG44 G,GG44 G,GG4G

замена/ replacement G,GG44 G,2218 G,GG44 G,GG44 G,GG44 G,GG44 G,GG44 G,GG44 G,GG44 G,GG44

исключение / rejection G,GG44 G,2218 G,GG44 G,GG44 G,GG44 G,GG44 G,GG47 G,GG47 G,GG44 G,GG4G

включение / inclusion G,G1GG G,2218 G,GG44 G,GG44 G,GG44 G,GG44 G,GG44 G,GG47 G,GG44 G,GG4G

N=5G без разбиения / without splitting G,GG17 G,GG17 G,GG17 G,GG17 G,GG17 G,GG17 G,GG17 G,GG17 G,GG17 G,GG17

D-опт. план / D-optimal plan G, 1988 G, 1988 G,GG62 G,GG67 G,GG67 G,GG67 G,GG67 G,GG67 G,GG67 G,GG67

замена/ replacement G, 1988 G, 1988 G,GG67 G,GG67 G,GG67 G,GG67 G,GG67 G,GG67 G,GG67 G,GG67

исключение / rejection G, 1988 G, 1988 G,GG67 G,GG67 G,GG67 G,GG67 G,GG67 G,GG67 G,GG67 G,GG67

включение / inclusion G, 1988 G, 1988 G,GG62 G,GG67 G,GG67 G,GG67 G,GG67 G,GG67 G,GG67 G,GG67

Таблица 3

Значение MSE при 15%-ном уровне шума

Table З

MSE value at 15% noise level

Объем выборки/ Sample size Вариант разбиения / Splitting variant Количество точек в тестовой части / Number of points in the test part, %

5 10 15 20 25 30 35 40 45 50

N=10 без разбиения / without splitting 0,0304 0,0304 0,0304 0,0304 0,0304 0,0304 0,0304 0,0304 0,0304 0,0304

D-опт. план / D-optimal plan 0,0614 0,0614 0,0614 0,0614 0,3112 0,3112 0,0118 0,0118 0,0118 0,0118

замена/ replacement 0,0614 0,0614 0,3112 0,3112 0,3112 0,3112 0,0118 0,0118 0,0112 0,0112

исключение / rejection 0,2050 0,2050 0,3112 0,3112 0,3112 0,3112 0,3112 0,3112 0,0118 0,0118

включение / inclusion 0,0614 0,0614 0,0614 0,0614 0,3112 0,3112 0,0118 0,0118 0,0118 0,0118

N=20 без разбиения / without splitting 0,0102 0,0102 0,0102 0,0102 0,0102 0,0102 0,0102 0,0102 0,0102 0,0102

D-опт. план / D-optimal plan 0,0091 0,2417 0,2417 0,2417 0,2417 0,0173 0,0173 0,0173 0,0173 0,0184

замена/ replacement 0,0091 0,2417 0,2417 0,2417 0,0173 0,0173 0,0173 0,0173 0,0184 0,0184

исключение / rejection 0,2417 0,2417 0,2417 0,2417 0,0173 0,0184 0,0184 0,0184 0,0184 0,0184

включение / inclusion 0,0091 0,2417 0,2417 0,2417 0,2417 0,0173 0,0173 0,0173 0,0173 0,0184

N=30 без разбиения / without splitting 0,0059 0,0059 0,0059 0,0059 0,0059 0,0059 0,0059 0,0059 0,0059 0,0059

D-опт. план / D-optimal plan 0,2225 0,2225 0,0089 0,0089 0,0089 0,0089 0,0089 0,0089 0,0089 0,0089

замена/ replacement 0,2225 0,2225 0,0089 0,0089 0,0089 0,0089 0,0089 0,0089 0,0089 0,0089

исключение / rejection 0,2225 0,2225 0,0089 0,0089 0,0089 0,0089 0,0089 0,0089 0,0089 0,0089

включение / inclusion 0,2225 0,2225 0,0089 0,0089 0,0089 0,0089 0,0089 0,0089 0,0089 0,0089

N=50 без разбиения / without splitting 0,0024 0,0024 0,0024 0,0024 0,0024 0,0024 0,0024 0,0024 0,0024 0,0024

D-опт. план / D-optimal plan 0,1976 0,1976 0,0061 0,0061 0,0061 0,0061 0,0061 0,0061 0,0061 0,0055

замена/ replacement 0,1976 0,1976 0,0061 0,0061 0,0061 0,0061 0,0061 0,0061 0,0061 0,0061

исключение / rejection 0,1976 0,1976 0,0061 0,0061 0,0061 0,0061 0,0061 0,0061 0,0061 0,0055

включение / inclusion 0,1976 0,1976 0,0061 0,0061 0,0061 0,0061 0,0061 0,0061 0,0061 0,0055

Таблица 4

Значение MSE при 20%-ном уровне шума

Table 4

MSE value at 20% noise level

Объем выборки/ Sample size Вариант разбиения/ Количество точек в тестовой части / Number of points in the test part, %

Splitting variant 5 1G 15 2G 25 3G 35 4G 45 5G

без разбиения / without splitting G,G367 G,G367 G,G367 G,G367 G,G367 G,G367 G,G367 G,G367 G,G367 G,G367

D-опт. план / D-optimal plan G,G685 G,G685 G,G685 G,G685 G,329G G,329G G,G25G G,G25G G,G25G G,G25G

N=1G замена/ replacement G,G685 G,G685 G,329G G,329G G,329G G,329G G,G25G G,G25G G,G25G G,G25G

исключение / rejection G,2844 G,2844 G,G238 G,G238 G,G25G G,G25G G,G25G G,G25G G,G25G G,G25G

включение / inclusion G,G685 G,G685 G,G685 G,G685 G,329G G,329G G,G25G G,G25G G,G25G G,G25G

без разбиения / without splitting G,GG79 G,GG79 G,GG79 G,GG79 G,GG79 G,GG79 G,GG79 G,GG79 G,GG79 G,GG79

D-опт. план / D-optimal plan G,G138 G,G195 G,2375 G,G213 G,G213 G,G213 G,G22G G,G22G G,G22G G,G22G

N=2G замена/ replacement G,G277 G,2375 G,2375 G,2375 G,G213 G,G213 G,G22G G,G22G G,G213 G,G22G

исключение / rejection G,G277 G,2375 G,2375 G,G213 G,G213 G,G213 G,G22G G,G22G G,G22G G,G22G

включение / inclusion G,G138 G,G195 G,2375 G,G213 G,G213 G,G213 G,G22G G,G22G G,G22G G,G22G

без разбиения / without splitting G,GG21 G,GG21 G,GG21 G,GG21 G,GG21 G,GG21 G,GG21 G,GG21 G,GG21 G,GG21

D-опт. план / D-optimal plan G,G486 G,2237 G,G135 G,G135 G,G145 G,G145 G,G145 G,G145 G,G145 G,G145

N=3G замена/ replacement G,2237 G,2237 G,G135 G,G135 G,G145 G,G135 G,G145 G,G145 G,G145 G,G145

исключение / rejection G,2237 G,2237 G,G135 G,G135 G,G145 G,G145 G,G145 G,G145 G,G145 G,G145

включение / inclusion G,G486 G,2237 G,G135 G,G135 G,G145 G,G145 G,G145 G,G145 G,G145 G,G145

без разбиения / without splitting G,GG21 G,GG21 G,GG21 G,GG21 G,GG21 G,GG21 G,GG21 G,GG21 G,GG21 G,GG21

D-опт. план / D-optimal plan G,1982 G, 1982 G,G139 G,G139 G,G139 G,G139 G,G139 G,G139 G,G139 G,G139

N=5G замена/ replacement G,1982 G, 1982 G,G139 G,G139 G,G139 G,G139 G,G139 G,G139 G,G139 G,G139

исключение / rejection G,1982 G, 1982 G, 1982 G,G139 G,G139 G,G139 G,G139 G,G139 G,G139 G,G139

включение / inclusion G,1982 G, 1982 G,G139 G,G139 G,G139 G,G139 G,G139 G,G139 G,G139 G,G139

Таблица 5

Значение MSE при 25%-ном уровне шума

Table 5

MSE value at 25% noise level

Объем выборки/ Sample size Вариант разбиения/ Splitting variant Количество точек в тестовой части / Number of points in the test part, %

5 10 15 20 25 30 35 40 45 50

N=10 без разбиения / without splitting 0,0221 0,0221 0,0221 0,0221 0,0221 0,0221 0,0221 0,0221 0,0221 0,0221

D-опт. план / D-optimal plan 0,0289 0,0289 0,0300 0,0300 0,1594 0,1594 0,3039 0,3039 0,0300 0,0300

замена/ replacement 0,0255 0,0255 0,0300 0,0300 0,3039 0,3039 0,3039 0,3039 0,0300 0,0300

исключение / rejection 0,2466 0,2466 0,0300 0,0300 0,3039 0,3039 0,3039 0,3039 0,0300 0,0300

включение / inclusion 0,0289 0,0289 0,0300 0,0300 0,1594 0,1594 0,3039 0,3039 0,0300 0,0300

N=20 без разбиения / without splitting 0,0133 0,0133 0,0133 0,0133 0,0133 0,0133 0,0133 0,0133 0,0133 0,0133

D-опт. план / D-optimal plan 0,0207 0,2404 0,2404 0,0262 0,0268 0,0268 0,0262 0,0262 0,0262 0,0262

замена/ replacement 0,0207 0,2404 0,2404 0,0262 0,0262 0,0262 0,0262 0,0262 0,0268 0,0262

исключение / rejection 0,2029 0,2404 0,2404 0,2404 0,0268 0,0262 0,0262 0,0262 0,0262 0,0262

включение / inclusion 0,0207 0,2404 0,2404 0,0262 0,0268 0,0268 0,0262 0,0262 0,0268 0,0262

N=30 без разбиения / without splitting 0,0033 0,0033 0,0033 0,0033 0,0033 0,0033 0,0033 0,0033 0,0033 0,0033

D-опт. план / D-optimal plan 0,2241 0,2241 0,0261 0,0271 0,0271 0,0261 0,0271 0,0261 0,0271 0,0271

замена/ replacement 0,2241 0,2241 0,0261 0,0271 0,0261 0,0261 0,0271 0,0261 0,0261 0,0271

исключение / rejection 0,2241 0,2241 0,0261 0,2241 0,2241 0,0261 0,0271 0,0261 0,0261 0,0271

включение / inclusion 0,2241 0,2241 0,0261 0,0271 0,0271 0,0261 0,0271 0,0261 0,0271 0,0271

N=50 без разбиения / without splitting 0,0044 0,0044 0,0044 0,0044 0,0044 0,0044 0,0044 0,0044 0,0044 0,0044

D-опт. план / D-optimal plan 0,1978 0,0190 0,0190 0,0190 0,0190 0,0190 0,0190 0,0190 0,0190 0,0190

замена/ replacement 0,1978 0,1978 0,0190 0,0190 0,0190 0,0190 0,0190 0,0190 0,0190 0,0190

исключение / rejection 0,1978 0,0190 0,0190 0,0190 0,0200 0,0200 0,0200 0,0200 0,0200 0,0190

включение / inclusion 0,1978 0,0190 0,0190 0,0190 0,0190 0,0190 0,0190 0,0190 0,0190 0,0190

Рис. 1. График значений MSE для выборки объема 10 при 5%-ном уровне шума Fig. 1. Graph of MSE values for the sample of size 10 with 5% noise level

Рис. 2. График значений MSE для выборки объема 50 при 25%-ном уровне шума Fig. 2. Graph of MSE values for the sample of size 50 with 25% noise level

Заключение

В работе для получения разреженного решения на основе метода LS SVM предложены различные способы разбиения выборки на обучающую и тестовую части с использованием в -оптимального разбиения и критерия согласованности. Для каждого из способов разбиения выборки предложены последовательные алгоритмы.

По результатам проведенных вычислительных экспериментов для получения разреженных решений можно рекомендовать использовать обучающую выборку, которая в том числе может быть получена по процедуре в -оптимального планирования эксперимента. При этом окончательную настройку внутренних параметров метода LS SVM можно осуществлять, ориентируясь на величину критерия согласованности.

Библиографический список

1. Vapnik V. Statistical Learning Theory. New York: John Wiley, 1998. 736 p.

2. Johan A.K. Suykens, Tony Van Gestel, Jos De Brabanter, Bart De Moor, Joos Vandewalle. Least Square Support Vector Machines. New Jersey-London-Singapore-Hong Kong: World Scientific, 2002. 290 p.

3. Cherkassky V., Ma Y. Practical selection of SVM parameters and noise estimation for SVM regression // Neural Networks. 2004. No. 17. P. 113-126.

4. Попов А.А., Саутин А.С. Определение параметров алгоритма опорных векторов при решении задачи построения регрессии // Сборник научных трудов НГТУ. 2008. № 2 (52). С. 35-40.

5. Popov A.A., Sautin A.S. Selection of support vector machines parameters for regression using nested grids // The third international forum on strategic technology (IFOST 2008): proceedings (Novosibirsk-Tomsk, 23-29 June 2008). Novosibirsk, 2008. P. 329-331.

6. J.A.K. Suykens., J. De Brabanter, L. Lukas, J. Vandewalle. Weighted least squares support vector machines: robast-ness and sparse approximation // Neurocomputing. 2002. Vol. 48. P. 85-105.

7. Степашко В.С., Кочерга Ю.Л. Методы и критерии решения задач структурной идентификации // Автоматика. 1985. № 5. С. 29-37.

8. Кочерга Ю.Л. J-оптимальная редукция структуры модели в схеме Гаусса - Маркова // Автоматика. 1988. № 4. С. 34-38.

9. Сарычев А.П. Усредненный критерий регулярности метода группового учета аргументов в задаче поиска наилучшей регрессии // Автоматика. 1990. № 5. С. 28-33.

10. Степашко В.С. Асимптотические свойства внешних критериев выбора моделей // Автоматика. 1988. № 6. С. 75-82.

11. Степашко В.С. Потенциальная помехоустойчивость моделирования по комбинаторному алгоритму МГУА без использования информации о помехах // Автоматика. 1983. № 3. С. 18-28.

12. Степашко В.С. Селективные свойства критерия непротиворечивости моделей // Автоматика. 1986. № 2. С. 40-49.

13. Попов А.А. Использование повторных выборок в критериях селекции моделей // Планирование эксперимента, идентификация, анализ и оптимизация многофакторных систем: сб. науч. ст. Новосибирск: Изд-во Новосибирского электротехнического ин-та, 1990. С. 82-88.

14. Лисицин Д.В., Попов А.А. Исследование критериев селекции многооткликовых регрессионных моделей // Сборник научных трудов НГТУ. 1996. Вып. 2. С. 19-28.

15. Лисицин Д.В., Попов А.А. Конструирование критериев селекции многомерных регрессионных моделей // Сборник научных трудов НГТУ. 1996. Вып. 1. С. 13-20.

16. Попов А.А. Планирование эксперимента в задачах разбиения выборки в МГУА // Сборник научных трудов НГТУ. 1995. Вып. 2. С. 35-40.

17. Попов А.А. Разбиение выборки для внешних критериев селекции моделей с использованием методов планирования эксперимента // Заводская лаборатория. 1997. № 1. С. 49-53.

18. Попов А.А., Бобоев Ш.А. Получение тестовой выборки в методе LS SVM с использованием оптимального планирования эксперимента // Научный вестник Новосибирского государственного технического университета. 2016. № 4. С. 80-99. DOI: 10.17212/1814-1196-2016-4-80-99

19. Попов А.А. Оптимальное планирование эксперимента в задачах структурной и параметрической идентификации моделей многофакторных систем: монография. Новосибирск: Изд-во НГТУ, 2013. 296 с.

20. Попов А.А. Последовательные схемы построения оптимальных планов эксперимента // Сборник научных трудов НГТУ. 1995. Вып. 1. С. 39-44.

21. Попов А.А. Последовательные схемы синтеза оптимальных планов эксперимента // Доклады академии наук высшей школы России. 2008. № 1 (10). С. 45-55.

22. Попов А.А., Бобоев Ш.А. Построение регрессионных зависимостей с использованием квадратичной функции потерь в методе опорных векторов // Сборник научных трудов НГТУ. 2015. № 3 (81). С. 69-78. DOI: 10.17212/2307-6879-2015-3-69-78

References

1. Vapnik V. Statistical Learning Theory. New York: John Wiley, 1998, 736 p.

2. Johan A.K. Suykens, Tony Van Gestel, Jos De Brabanter, Bart De Moor, Joos Vandewalle. Least Square Support Vector Machines. New Jersey-London-Singapore-Hong Kong: World Scientific, 2002, 290 p.

3. Cherkassky V., Ma Y. Practical Selection of SVM Parameters and Noise Estimation for SVM Regression. Neural Networks. 2004, no. 17, pp. 113-126.

4. Popov A.A., Sautin A.S. Parameters Estimation in Support Vector Regression. Sbornik nauchnykh trudov NGTU. [Proceedings of Novosibirsk state technical university]. 2008, no. 2 (52), pp. 35-40. (In Russian)

5. Popov A.A., Sautin A.S. Selection of Support Vector Machines Parameters for Regression Using Nested Grids. The third international forum on strategic technology (IFOST 2008): Proceedings (Novosibirsk-Tomsk, 23-29 June 2008). Novosibirsk, 2008, pp. 329-331.

6. J.A.K. Suykens, J. De Brabanter, L. Lukas, J. Vandewalle. Weighted Least Squares Support Vector Machines: Robustness and Sparse Approximation. Neurocomputing. 2002, vol. 48, pp. 85-105.

7. Stepashko V.S., Kocherga Yu.L. Methods and solving criteria for the problems of structural identification. Avtomatika [Automatics]. 1985, no. 5, pp. 29-37. (In Russian)

8. Kocherga Yu.L. J-optimal reduction of the model structure in the Gauss - Markov scheme. Avtomatika [Automat-ics].1988, no. 4, pp. 34-38. (In Russian)

9. Sarychev A.P. Averaged regularity criterion of group method of accounting arguments in the problem of finding the best regression. Avtomatika [Automatics]. 1990, no. 5, pp. 28-33. (In Russian)

10. Stepashko V.S. Asymptotic properties of external model selection criteria. Avtomatika [Automatics]. 1988, no. 6, pp. 75-82. (In Russian)

11. Stepashko V.S. Potential noise immunity of combinatorial GMDH algorithm-based modeling without using interference information. Avtomatika [Automatics]. 1983, no. 3, pp. 18-28. (In Russian)

12. Stepashko V.S. Selective properties of model consistency criterion. Avtomatika [Automatics]. 1986, no. 2, pp. 40-49. (In Russian)

13. Popov A.A. Ispol'zovanie povtornykh vyborok v kriteriyakh selektsii modelei [Use of repeated samples in model selection criteria]. Sbornik nauchnykh statei "Planirovanie eksperimenta, identifikatsiya, analiz i optimizatsiya mnogofaktornykh system" [Collection of scientific articles "Experiment planning, identification, analysis and optimization of multifactor systems]. Novosibirsk: Novosibirsk Electrotechnical Institute Publ., 1990, pp. 82-88. (In Russian)

14. Lisitsin D.V., Popov A.A. Studying selection criteria of multiresponse regression models. Sbornik nauchnykh trudov NGTU [Proceedings of Novosibirsk state technical university], 1996, issue 2, pp. 19-28. (In Russian)

15. Lisitsin D.V., Popov A.A. Development of selection criteria for multidimentional regression models. Sbornik nauchnykh trudov NGTU [Proceedings of Novosibirsk state technical university]. 1996, issue 1, pp. 13-20. (In Russian)

16. Popov A.A. Experiment planning in sample splitting problems in GMDH. Sbornik nauchnykh trudov NGTU [Proceedings of Novosibirsk state technical university]. 1995, issue 2, pp. 35-40. (In Russian)

17. Popov A.A. Sample splitting for external criteria of model selection using experiment planning methods. Zavodskaya laboratoriya [Industrial Laboratory]. 1997, no. 1, pp. 49-53. (In Russian)

18. Popov A.A., Boboev Sh.A. Obtaining a test sample by the LS-SVM method using optimal experiment planning. Nauchnyi vestnik NGTU [Science Bulletin of NSTU]. 2016, no. 4, pp. 80-99. (In Russian) DOI: 10.17212/1814-11962016-4-80-99

19. Popov A.A. Optimal'noe planirovanie eksperimenta v zadachakh strukturnoi i parametricheskoi identifikacii modelei mnogofaktornykh sistem [Optimal experiment planning in the problems of structural and parametric identification of multi-factor systems models]. Novosibirsk: NSTU Publ., 2013, 296 p. (In Russian)

20. Popov A.A. The sequential construction schemes of the optimal experiment plans. Sbornik nauchnykh trudov Novo-sibirskogo gosudarstvennogo tekhnicheskogo universiteta [Proceedings of Novosibirsk state technical university]. 1995, no.1, pp. 39-44. (In Russian)

21. Popov A.A. Sequential synthesis schemes of optimal experiment plans. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta [Proceedings of Novosibirsk state technical university]. 2008, no. 1 (10), pp. 45-55. (In Russian)

22. Popov A.A., Boboev Sh.A. The construction of a regression relationships using least square in support vector machines. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta [Proceedings of Novosibirsk state technical university]. 2015, no. 3 (81), pp. 69-78. (In Russian) DOI: 10.17212/2307-6879-2015-3-69-78

Критерии авторства

Попов А.А., Бобоев Ш.А. имеют на статью равные авторские права и несут равную ответственность за плагиат.

Authorship criteria

Popov A.A., Boboev Sh.A. have equal author's rights and bear equal responsibility for plagiarism.

Конфликт интересов

Авторы заявляют об отсутствии конфликта интересов.

Conflict of interests

The authors declare that there is no conflict of interests regarding the publication of this article.

Статья поступила 30,11,2017 г, The article was received 30 November 2017