CC BY
34
ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ
УДК 519.23
DOI 10.21685/2072-3059-2018-2-1
А. А. Попов, А. А. Холдонов
СТРУКТУРНАЯ ОПТИМИЗАЦИЯ НЕЧЕТКИХ РЕГРЕССИОННЫХ МОДЕЛЕЙ С МИНИМИЗАЦИЕЙ ОШИБКИ ПРОГНОЗА НА ОБУЧАЮЩЕЙ И ТЕСТОВОЙ ВЫБОРКЕ
Аннотация.
Актуальность и цели. Рассматривается проблема структурной оптимизации регрессионных моделей в рамках концепции нечетких систем (Fuzzy Systems). Структурная оптимизация регрессионных моделей подразумевает решение задачи по определению модели оптимальной сложности. Модель оптимальной сложности имеет хорошие обобщающие способности и не несет в себе эффект переобучения. Приведены различные критерии качества моделей, которые используют проверочную часть выборки.
Материалы и методы. В качестве метода оценивания всех неизвестных параметров моделей используется метод наименьших квадратов. В качестве систем правил использовалась модель Такаги - Сугено. Область действия факторов разбивалась на нечеткие партиции. Для разбиения выборки на тестовую и обучающую части осуществляется построение D-оптимального плана. При этом основное внимание в работе уделено использованию в качестве критерия селекции моделей критерия стабильности, который представляет собой ошибку прогноза на обучающей и тестовой части выборки.
Результаты. Для оценки работоспособности данного критерия и процедуры разбиения выборки на обучающую и тестовую части проведен вычислительный эксперимент. При этом использовалось специально разработанное приложение. Экспериментальные данные моделировались. При этом в качестве модели использовалась кусочная линейная зависимость от входного фактора. Результаты проведенных вычислительных экспериментов нашли отражение в таблицах и рисунках. Контроль точности проверяемых моделей проводился по среднеквадратичной ошибке (MSE).
Выводы. Вычислительный эксперимент показал, что критерий стабильности, основанный на использовании тестовой выборки, полученной по процедуре оптимального планирования эксперимента, позволяет определять модель оптимальной сложности.
Ключевые слова: D-оптимальный план, критерий стабильности, метод наименьших квадратов, метод центра масс, модель Такаги - Сугено, нечеткие
© 2018 Попов А. А., Холдонов А. А. Данная статья доступна по условиям всемирной лицензии Creative Commons Attribution 4.0 International License (http://creativecommons.org/licenses/by/4.0/), которая дает разрешение на неограниченное использование, копирование на любые носители при условии указания авторства, источника и ссылки на лицензию Creative Commons, а также изменений, если таковые имеют место.
системы (Fuzzy System), обучающая выборка, оптимальное планирование эксперимента, оценивание параметров, регрессионная модель, система нормальных уравнений, тестовая выборка.
A. A. Popov, A. A. Kholdonov
STRUCTURAL OPTIMIZATION OF FUZZY REGRESSION MODELS WITH MINIMIZATION OF A FORECAST ERROR ON A TRAINING AND TEST SAMPLE
Abstract.
Background. The paper considers the problem of string optimization of regression models within the concept of fuzzy systems (Fuzzy Systems). Structural optimization of regression models implies the solution of the problem of determining the model of optimal complexity. The model of optimal complexity has good generalizing abilities and does not carry the effect of retraining. Various criteria for selection of models are presented, which are based on splitting the sample into the training and test parts.
Materials and Methods. As a method of estimating unknown parameters, the least-squares method is used in the so-called global version. In this case, a joint evaluation of the whole set of unknown parameters is carried out. As rules systems, the Takagi-Sugeno model was used. When dividing the domain of input factors, trapezoidal membership functions were used. The problem of splitting a sample into a test and training part is proposed to be solved using the D-optimal experimental design method. At the same time, the main attention is paid to using the criterion of stability as a selection criterion for the models, which is a forecast error on the test part of the sample.
Results. To evaluate the efficiency of this criterion and the procedure for splitting the sample into a training and test part, a computational experiment was performed. For the computational experiment, the corresponding software was developed. The computational experiment was carried out on model data. The piecewise linear dependence on the input factor was used as the model of the data generator.
Discussion. The results of the computational experiments are given in separate tables and figures. The control of the accuracy of the tested models was based on the mean square error (MSE).
Conclusion. The computational experiment showed that the regularity criterion, based on the use of a test sample obtained by the procedure of optimal experiment planning, allows to determine the model of optimal complexity.
Key words: D-optimal plan, regularity criterion, least-squares method, center-of-mass method, Takagi-Sugeno model, fuzzy system, training sample, optimal experiment planning, parameter estimation, regression model, system of normal equations, test sample.
Введение
При построении регрессионных зависимостей эффективным инструментом моделирования считается методология нечетких систем (FS) [1-7]. Например, ее можно использовать при неполном знании структуры модели. Эффективность данной методологии определяется возможностью управлять сложностью модели. Однако при этом возникают и определенные трудности. К числу таких можно отнести возможность получения переусложненной модели. Если при этом в число факторов входят факторы, измеренные в номинальной шкале,
то необходимо учитывать условия идентифицируемости таких моделей [8-12]. Сложность моделирования при наличии выбросов связана с тем, что рассматриваемая методология направлена на получение описаний с локальными особенностями. Имеющиеся выбросы в данных могут провоцировать формирование такой локальной особенности, а также приводить к общему смещению решения, поскольку для его получения, как правило, используется метод наименьших квадратов (МНК). В этих ситуациях можно пытаться получать робастные решения [13]. Схожие проблемы, связанные с необходимостью обеспечения устойчивости решений, характерны и для других методов построения зависимостей, основанных на данных. В качестве примера можно рассматривать проблему получения робастных решений в методе опорных векторов [14-16].
Сложность получаемых нечетких регрессионных моделей, как мы отмечали, может варьироваться числом нечетких партиций и видом локальных моделей. При этом исследователь сталкивается с проблемой выбора оптимальной по сложности структуры модели. Для решения этой задачи назначаются определенные критерии «качества», которым должна удовлетворять искомая модель. Будем в дальнейшем называть их критериями селекции моделей. С многими из них можно познакомиться по обзорам [17, 18]. Нас в первую очередь будут интересовать так называемые внешние критерии селекции моделей, основанные на использовании тестовых выборок. На примере использования одного из них рассмотрим вопрос формирования тестовой части выборки с использованием планирования эксперимента.
1. Критерии селекции моделей на основе тестовых выборок
Пусть уравнение наблюдения за многофакторным объектом имеет вид
Y = + е = Хр + £, (1)
где Y — (п X1) - вектор ненаблюдаемого истинного выхода; X — (п X m) -расширенная матрица плана, соответствующая регрессорам Xl,...,Xm; е—(п X1) - вектор ошибок измерения с математическим ожиданием E(г) = 0п
и дисперсией E(ееT) = а21п (0п - нулевой вектор, а2 - дисперсия ошибок, 1п - единичная матрица размера п). Регрессоры Xl,...,Хт образуют множество X такое, что X с^, где ^ - некоторое расширенное множество ре-грессоров. Будем предполагать, что при наблюдении за объектом получена расширенная матрица плана Z — (п X p) и требуется определить множество
X и получить оценку параметров в. Выбирая то или иное подмножество регрессоров в (1), мы получаем рабочую модель, качество которой необходимо оценить. Для текущей модели из 5 регрессоров, образующих множество L с^, будем формировать матрицу наблюдений X — (п X 5). В матричном виде уравнение наблюдения за откликом у запишем как
У = X0 + е , (2)
где е — (п X1) - вектор случайных ошибок измерения, относительно которых
Т 2
выполнены стандартные предположения Е(е) = 0п, Е(ее ) = а 1п .
Разобьем выборку наблюдений Ж на две части А и В. Для решения задачи структурной идентификации, т.е. для выбора наилучшей модели для наблюдений (2), будем использовать следующие критерии качества моделей [18-22]:
- критерий регулярности:
Д2(В) = А2 (В / А) = ув - Хв 0А 2
- критерий стабильности:
S2 =Л2(Л uB / B) =
Уш — XW 6 B
критерий непротиворечивости:
nCM
Xw 0 A — XW 0 B
- критерий вариативности:
V2 = (Хж 0 А - Хж 0ж )Т (Хж 0Ж - Хж 0В ).
Теоретическое обоснование внешних критериев проведено в работах [18-21], а ряд их обобщений - в работах [22-24]. При этом в основу решения задачи структурной идентификации положен принцип ./-оптимальности модели. Коротко остановимся на нем. /-оптимальная модель определяется решением задачи:
f * = Arg min J (f), f f
(3)
где О,у - множество возможных моделей. Критерий /(/) определяет собой
среднеквадратичную ошибку предсказания незашумленного отклика на всей выборке Ж либо на прогнозной части В :
J (f) =1E
n
У — X 0
Jb (f) =—E
nB
yB — XB 0 A
Напрямую воспользоваться /(/) или /в (У) мы не можем. В качестве их оценок могут выступать перечисленные выше внешние критерии.
Помимо рассмотренных выше в задачах поиска моделей оптимальной сложности в качестве критерия селекции моделей может быть использован так называемый критерий скользящего контроля. В частности, он может быть использован в случае использования выборок небольшого объема. Как и для других внешних критериев селекции моделей, желательно, чтобы критерий скользящего контроля имел выраженный минимум на множестве моделей. Проблема повышения дискриминирующих свойств критерия скользящего контроля за счет выбора соответствующего плана эксперимента рассматривалась в [25].
2. Разбиение выборки для внешних критериев с использованием планирования эксперимента
Использование внешних критериев селекции при решении задачи выбора модели оптимальной сложности, отличных от критерия скользящего контроля, предполагает разбиение выборки наблюдения на две части: обучающую и проверочную. В данной работе для выбора модели оптимальной сложности мы будем использовать критерий стабильности. Для его вычисления потребуется сформировать обучающую и тестовую выборки. Подходы к решению задачи разбиения выборки с использованием планирования эксперимента предложены в работах [12, 26]. При этом повышение селективных свойств критериев регулярности и стабильности достигается тем, что в тестовую часть выборки включаются точки с малой дисперсией оценки математического ожидания отклика. Данный подход хорошо себя зарекомендовал при решении задачи настройки параметров алгоритма опорных векторов [27].
Вычислим математическое ожидание критерия регулярности [28]:
Е(А2 (В)) = (Xв - РваХЛ®)Т (Xв - РБАХЛ®) +
+G2
(nB + ü(XTAXA T\xTbXb )), (4)
где
PBA - XB(XAXA) 1 XA •
Второе слагаемое в (4) обозначим как Jg (5, g) . Исследуем возможность минимизации Jg (5, g) путем выбора варианта разбиения X на
XA , XB .
Введем следующие обозначения: пусть £ есть непрерывный план, а M (£) - информационная матрица, равная
n
XAXA / nA = ZPiXixT . i=1
Далее пусть X определяет собой множество точек, среди которых
необходимо выбрать nA точек обучающей выборки, присвоив им веса, рав-
*
ные 1/ nA . Оптимальный план £ будем находить как решение задачи
£ = Arg max W[M(£)]. (5)
Р
В качестве функционала ¥[M(£)] будем рассматривать определитель информационной матрицы. Для решения задачи (5) будем использовать градиентный метод. Компоненты вектора градиента имеют вид
= d(Xj, £) = XjM(£)-1 Xj = trM(£)-1 xX , (6)
äpj
где d(Xj,£) - дисперсия оценки математического ожидания отклика в точке х-.
* *
В точках D -оптимального плана q значения d (xj, q ) равны 5 , где
s - число параметров модели [29]. При этом для точек, не попавших в план, выполняется условие
1 пА
* 1 - , * d(Xi,q) <— у d(Xj,q) = s, i = ПА +1,...,n . (7)
ПА j=1 J
Если некоторый план q не является D -оптимальным, то ситуация обратная:
d(Xi,q) > s, i = па +1,...,п . (8)
Таким образом, для разбиения X на Xa , XB достаточно решить зада*
чу построения D -оптимального плана q с па точками из X . Для ее решения в работах [30, 31] предложена последовательная схема.
3. Нечеткие регрессионные модели
Нечеткие модели Такаги - Сугено типа MISO (multiple input, single output) собраны из правил вида [1]:
IF x1 с А1г- &... & xk с Aki THEN y = П (x), i = 1, ..., M , (9)
где Aji - нечеткое подмножество для переменной Xj , определяемое функцией принадлежности ца .. (xj); П (x) - локальная зависимость отклика y от
набора факторов x = (x1,..., x^) , M - число правил.
Четкое значение переменной y, полученное с использованием дефаз-зификации по методу центра тяжести, вычисляется по формуле
M
У k
y=ц =n^A,(xj). (10)
У* м i=1
Рассмотрим технику построения нечеткой регрессионной модели для случая построения одномерной зависимости. Система правил (9) в этом случае наиболее простая:
IF x с A THEN y = П (x), i = 1, ..., M, (11)
где Ai имеют функцию принадлежности цa (x ).
В случае использования так называемой модели синглтона П (x) имеют вид П (x) = 0о, i = 1, . ., M . При рассмотрении локальной линейной зависимости отклика от фактора соответствующие функции имеют вид П (x) = 00 + 01x , i = 1, ..., M . Итоговое уравнение наблюдения:
M
Уи - Z(°0 +°1X« ) (xu ) + eu , и - 1 •••, N •
г—1
(12)
Для более сложных вариантов локальных моделей П (x) уравнение наблюдений (12) легко выписывается.
Результаты
Разбиение выборки на обучающую и тестовую части, как мы уже отмечали, можно использовать для отбора нечетких регрессионных моделей с целью получения решения с хорошей обобщающей способностью. Вычислительный эксперимент проводили с целью исследования возможности определения модели оптимальной сложности, ориентируясь на критерий стабильности. При этом разбиение выборки на тестовую и обучающую осуществляли с помощью D -оптимального планирования. Качество получаемых моделей оценивали по среднеквадратичной ошибке MSE.
В качестве модели, порождающей данные, использовалась оптимальной сложности модель:
if (xе A1) then n1 = 4 -8x,
<
if (xе A2) then n2 = 4 + 8x,
где Aj - нечеткое подмножество для переменной x, заданной на отрезке [-1;1] с функцией принадлежности цA- (x), j = 1,2 трапециевидного типа:
—
1;
a < x < c,
, x - c
1--; c < x < I
-c
0;
^ a2
0;
x - c d - c 1;
d < x < b, a < x < c, c < x < d, d < x < b,
где а — с - ширина зоны пересечения.
В качестве помехи использовались нормально распределенные величины. Уровень помехи (дисперсия случайной величины) выбирался как 8 % от мощности незашумленного сигнала. Количество наблюдений выбиралось равным 50. Число подобластей, на которое разбивался весь интервал варьирования входного фактора, варьировался от 1 до 4, 5 - число параметров в Т8 модели. При этом использовались трапециевидные функции принадлежности.
Общая сложность нечеткой регрессионной модели при подборе оптимального ее варианта варьировалась от 1 до 12. При этом в качестве локальных моделей рассматривались модели типа синглтон, линейная и квадратичная. Описание моделей дано в табл. 1.
Таблица 1
Виды тестируемых моделей
Общая сложность, 5 Число партиций Вид локальной модели
1 1 синглтон
2 1 линейная
2' 2 синглтон
3 1 квадратичная
3' 1 синглтон
4 1 синглтон
4' 2 линейная
6 2 квадратичная
6' 3 линейная
8 4 линейная
9 3 квадратичная
12 4 квадратичная
На рис. 1 и в табл. 2 приведены результаты вычислительного эксперимента при использовании критерия стабильности.
-------5%
......в..... 10%
......♦..... 15%
— — 20% -*- 25% —•— 30% - - - 35% --я- - 40% —о— 45% —»— 50%
Обсуждение
Из результатов вычислительного эксперимента видно, что минимум критерия стабильности приходится на линейную Т8 модель с двумя партициями (5 = 4). На этой же модели критерий М8Е достигает своего минимального значения. Данная модель соответствует структуре реальной модели, которая использовалась при генерации данных. Также нужно отметить, что характер зависимости критерия стабильности от сложности модели практически не изменяется при варьировании объема тестовой части выборки. Однако при малом объеме тестовой части выборки критерий стабильности становится малочувствительным к эффекту переобучения модели.
Заключение
В работе проведено исследование структурной оптимизации нечетких регрессионных Т8 моделей.
4 4' 6 & 8 9 12
Рис. 1. График значений критерия стабильности
По результатам исследования предлагается выбирать оптимальную структуру на основе критерия стабильности, которая представляет собой ошибку прогноза на тестовой и обучающей части выборки. Для повышения надежности работы данной процедуры разделение выборки на обучающую и тестовую части осуществлялось с помощью ^-оптимального планирования эксперимента. Для построения обучающей выборки в виде ^-оптимального плана предложено пользоваться эффективной процедурой последовательного наращивания спектра плана.
Библиографический список
1. Takagi, T. Fuzzy Identification of Systems and Its Applications to Modeling and Control / T. Takagi, M. Sugeno // IEEE Trans. on Systems, Man and Cybernetics. -1985. - Vol. 15, № 1, P. 116-132.
2. Babuska, R. Fuzzy Modelling for Control / R. Babuska. - London ; Boston : Kluwer Academic Publishers, 1998. - 257 p.
3. Lilly, J. H. Fuzzy Control and Identification / John H. Lilly. - New Jersey : Wiley, 2010. - 231 p.
4. Попов, А. А. Регрессионное моделирование на основе нечетких правил / А. А. Попов // Сборник научных трудов Новосибирского государственного технического университета. - 2000. - № 2 (19). - С. 49-57.
5. Kosko, B. Fuzzy Systems as Universal Approximators / B. Kosko // IEEE Transactions on Computers. - 1994. - Vol. 43, № 11. - P. 1329-1333.
6. Popov, A. A. Modeling volatility of time series using fuzzy GARCH models / A. A. Popov, K. V. Bykhanov // Proceedings - 9th Russian-Korean International Symposium on Science and Technology, K0RUS-2005 sponsors: Novosibirsk State Technical University. - Novosibirsk, 2005. - P. 687-692.
7. Пегат, А. Нечеткое моделирование и управление : пер. с англ. / А. Пегат. -2-е изд. - М., 2013. - 798 с.
8. Попов, А. А. Построение деревьев решений для прогнозирования количественного признака на классе логических функций от лингвистических переменных / А. А. Попов // Научный вестник Новосибирского государственного технического университета. - 2009. - № 3 (36). - С. 77-86.
9. Попов, А. А. Конструирование дискретных и непрерывно-дискретных моделей регрессионного типа / А. А. Попов // Сборник научных трудов Новосибирского государственного технического университета. - 1996. - № 1. - С. 21-30.
10. Попов, А. А. Анализ линейных моделей мягкого дисперсионного анализа / А. А. Попов // Сборник научных трудов Новосибирского государственного технического университета. - 2003. - № 1 (31). - С. 85-90.
11. Попов, А. А. Идентифицируемость моделей мягкого дисперсионного анализа / А. А. Попов // Сборник научных трудов Новосибирского государственного технического университета. - 2003. - № 1 (31). - С. 79-84.
12. Попов, А. А. Оптимальное планирование эксперимента в задачах структурной и параметрической идентификации моделей многофакторных систем / А. А. Попов. - Новосибирск, 2013. - 296 с.
13. Bang-Yong Sohn. Robust fuzzy linear regression based on M-estimators / Bang-Yong Sohn // J. App1. Math. & Computing. - 2005. - Vol. 18, № 1-2. - P. 591-601.
14. Попов, А. А. Построение регрессионных зависимостей с использованием алгоритма опорных векторов с адаптивными функциями потерь / А. А. Попов, С. А. Саутин // Научный вестник Новосибирского государственного технического университета. - 2011. - № 1 (42). - С. 17-26.
15. Попов, А. А. Использование робастных функций потерь в алгоритме опорных векторов при решении задачи построения регрессии / А. А. Попов, А. С. Саутин // Научный вестник Новосибирского государственного технического университета. -2009. - № 4 (37). - С. 45-56.
16. Гультяева, Т. А. Методы статистического обучения в задачах регрессии и классификации : монография / Т. А. Гультяева, А. А. Попов, А. С. Саутин. - Новосибирск, 2016. - 322 с.
17. Перельман, И. И. Методология выбора структуры модели при идентификации объектов / И. И. Перельман // Автоматика и телемеханика. - 1983. - № 11. -С. 5-29.
18. Степашко, В. С. Методы и критерии решения задач структурной идентификации / В. С. Степашко, Ю. Л. Кочерга // Автоматика. - 1985. - № 5. - С. 29-37.
19. Кочерга, Ю. Л. 1-оптимальная редукция структуры модели в схеме Гаусса -Маркова / Ю. Л. Кочерга // Автоматика. - 1988. - № 4. - С. 34-38.
20. Сарычев, А. П. Усредненный критерий регулярности метода группового учета аргументов в задаче поиска наилучшей регрессии / А. П. Сарычев // Автоматика. - 1990. - № 5. - С. 28-33.
21. Степашко, В. С. Асимптотические свойства внешних критериев выбора моделей / В. С. Степашко // Автоматика. - 1988. - № 6. - С. 75-82.
22. Попов, А. А. Использование повторных выборок в критериях селекции моделей. Планирование эксперимента, идентификация, анализ и оптимизация многофакторных систем / А. А. Попов ; Новосибирск. электротехн. ин-т. - Новосибирск, 1990. - С. 82-88.
23. Лисицин, Д. В. Исследование критериев селекции многооткликовых регрессионных моделей / Д. В. Лисицин // Сборник научных трудов Новосибирского государственного технического университета. - 1996. - № 2. - С. 19-28.
24. Лисицин, Д. В. Конструирование критериев селекции многомерных регрессионных моделей / Д. В. Лисицин // Сборник научных трудов Новосибирского государственного технического университета. - 1996. - № 1. - С. 13-20.
25. Попов, А. А. Планирование эксперимента в задачах структурного моделирования с использованием критерия скользящего прогноза / А. А. Попов // Заводская лаборатория. Диагностика материалов. - 1996. - Т. 62, № 10. - С. 42-44.
26. Попов, А. А. Разбиение выборки для внешних критериев селекции моделей с использованием методов планирования экспериментов / А. А. Попов // Заводская лаборатория. Диагностика материалов. - 1997. - Т. 63, № 1. - С. 49-53.
27. Попов, А. А. Получение тестовой выборки в методе Ь8-8УМ с использованием оптимального планирования эксперимента / А. А. Попов, Ш. А. Бобоев // Научный вестник Новосибирского государственного технического университета. - 2016. -№ 4. - С. 80-99.
28. Юрачковский, Ю. П. Применение канонической формы внешних критериев для исследования их свойств / Ю. П. Юрачковский, А. Н. Грошков // Автоматика. -1979. - № 3. - С. 85-89.
29. Федоров, В. В. Активные регрессионные эксперименты. Математические методы планирования эксперимента / В. В. Федоров. - Новосибирск : Наука. 1981. -С. 19-73.
30. Попов, А. А. Последовательные схемы построения оптимальных планов эксперимента / А. А. Попов // Сборник научных трудов Новосибирского государственного технического университета. - 1995. - № 1. - С. 39-44.
31. Попов, А. А. Последовательные схемы синтеза оптимальных планов эксперимента / А. А. Попов // Доклады Академии наук высшей школы России. - 2008. -№ 1 (10). - С. 45-55.
References
1. Takagi T., Sugeno M. IEEE Trans. on Systems, Man and Cybernetics. 1985, vol. 15, no. 1, pp. 116-132.
2. Babuska R. Fuzzy Modelling for Control. London; Boston: Kluwer Academic Publishers, 1998, 257 p.
3. Lilly J. H. Fuzzy Control and Identification. New Jersey: Wiley, 2010, 231 p.
4. Popov A. A. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekh-nicheskogo universiteta [Proceedings of Novosibirsk State Technical University]. 2000, no. 2 (19), pp. 49-57.
5. Kosko B. IEEE Transactions on Computers. 1994, vol. 43, no. 11, pp. 1329-1333.
6. Popov A. A., Bykhanov K. V. Proceedings - 9th Russian-Korean International Symposium on Science and Technology, KORUS-2005 sponsors: Novosibirsk State Technical University. Novosibirsk, 2005, pp. 687-692.
7. Pegat A. Nechetkoe modelirovanie i upravlenie: per. s angl. [Fuzzy modeling and control: translated from english]. 2nd ed. Moscow, 2013, 798 p.
8. Popov A. A. Nauchnyy vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta [Scientific bulletin of Novosibirsk State Technical University]. 2009, no. 3 (36), pp. 77-86.
9. Popov A. A. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta [Proceedings of Novosibirsk State Technical University]. 1996, no. 1, pp. 21-30.
10. Popov A. A. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta [Proceedings of Novosibirsk State Technical University]. 2003, no. 1 (31), pp. 85-90.
11. Popov A. A. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnich-eskogo universiteta [Proceedings of Novosibirsk State Technical University]. 2003, no. 1 (31), pp. 79-84.
12. Popov A. A. Optimal'noe planirovanie eksperimenta v zadachakh strukturnoy i para-metricheskoy identifikatsii modeley mnogofaktornykh sistem [Optimal experimental design in the tasks of structural and parametric identification of multifactor systems models]. Novosibirsk, 2013, 296 p.
13. Bang-Yong Sohn. J. Appl. Math. & Computing. 2005, vol. 18, no. 1-2, pp. 591-601.
14. Popov A. A., Sautin S. A. Nauchnyy vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta [Scientific bulletin of Novosibirsk State Technical University]. 2011, no. 1 (42), pp. 17-26.
15. Popov A. A., Sautin A. S. Nauchnyy vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta [Scientific bulletin of Novosibirsk State Technical University]. 2009, no. 4 (37), pp. 45-56.
16. Gul'tyaeva T. A., Popov A. A., Sautin A. S. Metody statisticheskogo obucheniya v zadachakh regressii i klassifkatsii: monografiya [Methods of statistical training in regression and classification problems: monograph]. Novosibirsk, 2016, 322 p.
17. Perel'man I. I. Avtomatika i telemekhanika [Automation and telemechanics]. 1983, no. 11, pp. 5-29.
18. Stepashko V. S., Kocherga Yu. L. Avtomatika [Automation]. 1985, no. 5, pp. 29-37.
19. Kocherga Yu. L. Avtomatika [Automation]. 1988, no. 4, pp. 34-38.
20. Sarychev A. P. Avtomatika [Automation]. 1990, no. 5, pp. 28-33.
21. Stepashko V. S. Avtomatika [Automation]. 1988, no. 6, pp. 75-82.
22. Popov A. A. Ispol'zovanie povtornykh vyborok v kriteriyakh selektsii modeley. Plani-rovanie eksperimenta, identifikatsiya, analiz i optimizatsiya mnogofaktornykh sistem [The use of repeated samples in the criteria for the selection of models. Experiment planning, identification, analysis and optimization of multifactor systems]. Novosibirsk. elektrotekhn. in-t. Novosibirsk, 1990, pp. 82-88.
23. Lisitsin D. V. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnich-eskogo universiteta [Proceedings of Novosibirsk State Technical University]. 1996, no. 2, pp. 19-28.
24. Lisitsin D. V. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnich-eskogo universiteta [Proceedings of Novosibirsk State Technical University]. 1996, no. 1, pp. 13-20.
25. Popov A. A. Zavodskaya laboratoriya. Diagnostika materialov [Factory laboratory. Diagnostics of materials]. 1996, vol. 62, no. 10, pp. 42-44.
26. Popov A. A. Zavodskaya laboratoriya. Diagnostika materialov [Factory laboratory. Diagnostics of materials]. 1997, vol. 63, no. 1, pp. 49-53.
27. Popov A. A., Boboev Sh. A. Nauchnyy vestnik Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta [Scientific bulletin of Novosibirsk State Technical University]. 2016, no. 4, pp. 80-99.
28. Yurachkovskiy Yu. P., Groshkov A. N. Avtomatika [Automation]. 1979, no. 3, pp. 85-89.
29. Fedorov V. V. Aktivnye regressionnye eksperimenty. Matematicheskie metody plani-rovaniya eksperimenta [Active regression experiments. Mathematical methods for experiment planning]. Novosibirsk: Nauka. 1981, pp. 19-73.
30. Popov A. A. Sbornik nauchnykh trudov Novosibirskogo gosudarstvennogo tekhnicheskogo universiteta [Proceedings of Novosibirsk State Technical University]. 1995, no. 1, pp. 39-44.
31. Popov A. A. Doklady Akademii nauk vysshey shkoly Rossii [Reports of the Academy of Sciences of Higher School of Russia]. 2008, no. 1 (10), pp. 45-55.
Попов Александр Александрович доктор технических наук, профессор, кафедра теоретической и прикладной информатики, Новосибирский государственный технический университет (Россия, г. Новосибирск, пр. Карла Маркса, 20)
Е-таП: a.popov@corp.nstu.ru
Холдонов Абдурахмон Абдуллоевич аспирант, Новосибирский государственный технический университет (Россия, г. Новосибирск, пр. Карла Маркса, 20)
Е-таЛ: firuz_530_11_29@mail.ru
Popov Aleksandr Aleksandrovich Doctor of engineering sciences, professor, sub-department of theoretical and applied informatics, Novosibirsk State Technical University (20 Karla Marksa avenue, Novosibirsk, Russia)
Kholdonov Abdurakhmon Abdulloevich
Postgraduate student, Novosibirsk State Technical University (20 Karla Marksa avenue, Novosibirsk, Russia)
УДК 519.23 Попов, А. А.
Структурная оптимизация нечетких регрессионных моделей с минимизацией ошибки прогноза на обучающей и тестовой выборке /
А. А. Попов, А. А. Холдонов // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2018. - № 2 (46). - С. 5-17. -БОТ 10.21685/2072-3059-2018-2-1.
