CC BY
45
УДК 519.242:519.6
С.Г. РАДЧЕНКО*, О.В. КОЗЫРЬ*
ПЛАНЫ ЭКСПЕРИМЕНТОВ ДЛЯ ПОЛУЧЕНИЯ МОДЕЛЕЙ ВЫСОКОЙ ТОЧНОСТИ
Национальный технический университет Украины "Киевский политехнический институт", Киев, Украина
Анотаця. Досл^джеш статистичн властивост1 ЛПТ посл1довностей. Проведено гх ранжування
за критер1ем мтмалъного коефщента парног кореляци. Наведено плани експеримент1в з можли-в1стю посл1довного планування. Отриман результати тдтверджують висунуту г1потезу про перевагу ЛПТ пламв експеримент1в при апроксимацп вих1дних даних та одержанн структур моделей, в1дпов1дних структурам ¡стинних моделей.
Ключов1 слова: ЛПТ р1вном1рно розпод1лен1 посл1довност1, планування експерименту, кореляц^я, апроксимац^я.
Аннотация. Исследованы статистические свойства ЛПТ последовательностей. Проведено их
ранжирование по критерию минимального коэффициента парной корреляции. Приведены планы экспериментов с возможностью последовательного планирования. Полученные результаты подтверждают выдвинутую гипотезу о преимуществе ЛПТ планов экспериментов при аппроксимации исходных данных и получении структур моделей, соответствующих структурам истинных моделей.
Ключевые слова: ЛПТ равномерно распределенные последовательности, планирование эксперимента, корреляция, аппроксимация.
Abstract. Statistic features of the LPT sequences are examined in the article. They are ranged according
to the criterion of minimum coefficient of pair correlation. The plans of experiments with the ability of consistent planning are presented as well. Received results confirm the advanced hypothesis about advantage of the LPT plans of experiments in approximation of the initial data and receiving the architectures of models corresponding to the architectures of the true models.
Keywords: LPT uniformly distributed sequences, experiment designs, correlation, approximation. 1. Введение. Постановка проблемы
Планы экспериментов должны соответствовать различным критериям качества. Критерии, позволяющие выбрать структуру математической модели, практически не используются. Статистические свойства планов, в которых точки размещены квазислучайно в многофакторном пространстве (по известным публикациям), исследованы слабо.
При выборе структуры математической модели главные эффекты и эффекты взаимодействий должны быть ортогональными или слабо коррелированными. Это требование достигается путем равномерного распределения точек плана эксперимента в многофакторном пространстве. ЛПГ последовательности являются наиболее равномерно распределенными в настоящее время последовательностями.
Применение ЛПГ последовательностей не ограничивается вычислением многомерных интегралов, случайным поиском ( ЛПГ поиск), задачами многокритериальной оптимизации. В [1] приведены статистические свойства некоторых планов на основе ЛПГ равномерно распределенных последовательностей. О возможности их использования в качестве планов экспериментов упоминается в [2].
© Радченко С.Г., Козырь О.В., 2014
ISSN 1028-9763. Математичш машини i системи, 2014, № 2
2. Анализ публикаций по теме исследования
В [1] изложено оптимальное планирование эксперимента в системе «план эксперимента -структура модели». Предложены рекомендации по использованию ЛПГ планов экспериментов как планов, имеющих значительное число уровней ^ = N и позволяющих получить больше исходной информации об аппроксимируемой поверхности отклика для непрерывных факторов. Однако конкретные планы экспериментов не приведены.
Применение квазислучайных последовательностей в имитационном моделировании рассматривается в статье [3]. Показано отличие между квазислучайными и псевдослучайными последовательностями. Рассмотрены некоторые статистические свойства ЛПГ последовательностей.
Разработанные И.М. Соболем ЛПГ последовательности, предназначенные изначально для расчета многомерных интегралов, стали позже применяться и для реализации поисковых процедур. Сетки на основе ЛПГ последовательностей, построенные в к-
мерном пространстве параметров исследуемых функций, позволяют определить, какие из варьируемых параметров с заданной вероятностью оказывают существенное влияние на значения критериев качества. По заданной метрике между текущим значением критерия качества и его экстремальным значением можно определить области концентрации наилучших значений критериев качества, построить в многомерном пространстве критериев качества множество Парето [4, 5].
Имеются публикации об использовании ЛПГ последовательностей в задачах оптимального проектирования машин и механизмов [6-8]. При оптимальном проектировании машин и механизмов значительный интерес представляет решение вопросов снижения размерности пространства поиска в целях сокращения объема исследовательских работ. В [6, 7] использовался комбинированный способ построения матрицы планирования методом случайного баланса с помощью ЛПГ сеток и дальнейшей статистической обработки результатов экспериментов. Использование данной методики обусловлено значительно лучшей оценкой равномерности распределения ЛПГ последовательностей по осям и в пространстве параметров по сравнению с другими последовательностями [6].
Нерешенные вопросы
Использование ЛПГ последовательностей в качестве планов экспериментов носит несистемный и ограниченный характер, в основном, связанный с вопросами оптимизации. Научных публикаций по этому вопросу мало. Не приводятся конкретные планы экспериментов. Отсутствуют статистические исследования по выявлению коррелированности ЛПГ
последовательностей и их ранжирования. Не рассматривалось использование ЛПГ последовательностей при последовательном планировании экспериментов. Не исследовалось качество получаемых моделей.
Цель статьи
Исследование статистических свойств ЛПГ равномерно распределенных последовательностей. Их ранжирование по критерию минимального коэффициента парной корреляции. Построение планов экспериментов с возможностью последовательного планирования. Проверка возможности построения адекватных математических моделей путем аппроксимации известной функции с помощью планов на основе ЛПГ последовательностей и сравнения их с многофакторными регулярными планами (МРП).
3. Статистические свойства ЛПт равномерно распределенных последовательностей
Разработанные И.М. Соболем ЛПГ последовательности обладают более хорошими свойствами равномерности распределения, чем любые другие последовательности точек в многомерном единичном кубе. Распределение ЛПГ последовательностей в двумерном пространстве приведено на рис. 1.
1
0,875 0,75 0,625 X29 0,5 0,375 0,25 0,125 0
- • 1 1
- • 1 2
• 8
• 1 5
- 1 • 1
- • 1 3
- • 9 7 3
• 1 4
0 0,1250,250,375 0,5 0,6250,750,875 1
X10
а - опытов - 15
1
0,875 0,75 0,625 Х29 0,5 0,375 0,25 0,125 0
• 30 • 1 1 • 16 5
• 23 • 25 • 1 2
2 • 19 • 8 •2
• 1 5 • 26 1 • 20
■ • 17 4 • 31 • 1
: • 24 • 1 3 • 22 3
- • 9 • 28 • 18
• 21 • 1 7 4 ы*
0 0,1250,250,375 0,5 0,6250,750,875 1
X10
1
0,875 0,75 0,625 X29 0,5 0,375 0,25 0,125 0
- • 1 1 • 16
• 23 2 2 • 1 5 2
• 19 • 8
• 1 6 5 • 20
- • 17 1 • 1
• 1 3 • 22
- • 9 7 7 3 • 18
-1—1_ 1 1 • 21 1 1 -1—1_ • 1 -1-1_ 4 -1-1_ -1-1_ 1 1
0 0,1250,250,375 0,5 0,625 0,75 0,875 1
X10
б - опытов - 23
1
0,875 0,75 0,625 X 2 0,5 0,375 0,25 0,125 0
• 21 • 1 2
• 26 1 1 • 18
• 23 • 1 4 • 31
- • 24 9 • 16
# 1 3 1 28 • 20
2 • 19 • 5 27 1
• 1 5 • 30 • 22
• 17 25
0 0,125 0,25 0,375 0,5 0,625 0,75 0,875 1
X10
0
9
0
в - опытов - 31 г - опытов - 31
Рис. 1. Расположение точек ЛП г последовательностей на плоскости
Использование точек ЛПГ последовательностей, равномерно распределенных в этом кубе, обеспечивает более высокую точность вычислений по некоторым алгоритмам Монте-Карло и более равномерный просмотр пространства параметров при решении задач многофакторной оптимизации для поиска экстремальных значений критериев качества. Теория и алгоритмы построения ЛПГ равномерно распределенных последовательностей приведены в многочисленных работах д.ф.-м.н. И.М. Соболя [8, с. 133-158].
Свойства ЛПГ последовательностей:
1. Выбор в качестве точек плана эксперимента в многомерном пространстве ЛПГ
равномерно распределенных последовательностей позволяет получить сравнительно слабо коррелированные главные эффекты и эффекты взаимодействий факторов при выборе структуры математической модели.
2. С увеличением числа опытов N вероятность получения в плане эксперимента точек, достаточно близких к точкам экстремума и перегиба поверхности отклика, стремится к единице, а коэффициент корреляции ту между различными эффектами стремится к
нулю [1, с. 106].
3. Проекция любой ЛПГ последовательности из N точек в к-мерном пространстве на (к — у)-мерную грань (1 < у < к — 1) многомерного единичного куба образует также равномерно распределенную последовательность из N проекций точек [8, с. 134].
Точки плана эксперимента должны быть равномерно расположены в пространстве параметров Як. Методика построения ЛПГ последовательностей [8] позволяет построить
максимальное число последовательностей, равное 51, количество точек - 220. В исследовании использовались все последовательности. Оно показало, что равномерно заполняют пространство следующие количества точек: N = 1; 3; 7; 15; 31; 63 и т. д. Проанализировав корреляционные матрицы, построенные для точек N = 15; 23; 31, были выявлены последовательности с коэффициентами парной корреляции ту = 1 (рис. 2).
Среднее абсолютных величин коэффициентов корреляции 0,2350. Среднее квадратичное отклонение 0,2370: а) N = 15
Среднее абсолютных величин коэффициентов корреляции 0,2024. Среднее квадратичное отклонение 0,2316: б) N = 23
Среднее абсолютных величин коэффициентов корреляции 0,1623. Среднее квадратичное отклонение 0,2270: в) N = 31 Рис. 2. Распределение коэффициентов корреляции ЛП г последовательностей (к = 51)
Ранжирование последовательностей проводилось по следующей методике. Находилось минимальное значение коэффициента корреляции т/ . К номерам последовательностей, соответствующих /;утт, прибавляются остальные номера с условием минимальной
коррелированности со всеми выбранными ранее. При этом исследование проводилось для трех матриц с целью обеспечения возможности последовательного планирования. Коэффициенты корреляции между последовательностями не должны превышать по абсолютной величине значения 0,4. Ранжированные таким методом номера последовательностей представлены в табл.1.
Таблица 1. Номера ЛПГ последовательностей, ранжированных по г//тт
Номера ЛПГ последовательностей
£10 £29 £2 £7 £4 £14 £26 £28
Коэффициенты парной корреляции тах | т// |
N = 1...15 0,0857 0,0857 0,0286 0,2000 0,2000 0,2000 0,2000 0,2000
N2 = 1... 23 0,0029 0,0029 0,0683 0,2108 0,1810 0,3532 0,3888 0,3590
N3 = 1...31 0,0452 0,0452 0,1097 0,0839 0,0968 0,0968 0,0968 0,1097
В результате ранжирования ЛПГ последовательностей было получено максимально возможное количество слабо коррелированных последовательностей к = 8 (N = 15).
Среднее абсолютных величин коэффициентов корреляции 0,1367. Среднее квадратичное отклонение 0,0441: а) N = 15
Среднее абсолютных величин коэффициентов корреляции 0,1251. Среднее квадратичное отклонение 0,0984: б) N = 23
0,108<|п]|<0,120 0,09б^П]|<0,108 0,084<]:гу|<0,096 3 0,072<|ту|<0,084 | 0,060^П]|<0,072 Ё. 0,048<|гу|<0,060
1 0,03 6^11]|<0,048
2 0,024<|ту|<0,036 0,012<|лЛ<0,024 0,000<|лЛ<0,012
|гу|=0,000
0%
0% 0%
0% 0% 0%
,1491
I 25
28,5
21, 17,86
43% %
%
0 10 20 30 40 50 60 70 80 90 100 Доли коэффициентов корреляции, °4>
Среднее абсолютных величин коэффициентов корреляции 0,0714. Среднее квадратичное
отклонение 0,0270: в) N = 31 Рис. 3. Диаграммы распределения коэффициентов корреляции ЛП г последовательностей £10, £29, £2, £7, £4, £14, £26, £28
Для последующего исследования были взяты такие значения: к = 8; N = 1...15; Ы2 = 1...23; N3 = 1...31. По ним были построены корреляционные матрицы. Распределение коэффициентов корреляции для каждой матрицы приведено на рис. 3.
Результаты исследования показали, что максимальные коэффициенты корреляции для ранжированных последовательностей не превышают 0,3888.
Полученные последовательности можно использовать в качестве планов экспериментов с возможностью последовательного планирования. Последовательное планирование заключается в том, что изначально для проведения экспериментов берется 15 точек. Если таковых окажется недостаточно, то, используя ранее полученные результаты, проводят эксперименты для точек N = 16...23 и N = 24...31. Точки выбранных последовательностей приведены в табл. 2.
Таблица 2. Точки ЛПГ последовательностей
£10 £29 £2 £7 £4 £14 £26 £28
1 0,5 0,5 0,5 0,5 0,5 0,5 0,5 0,5
2 0,25 0,75 0,25 0,75 0,75 0,25 0,25 0,75
3 0,75 0,25 0,75 0,25 0,25 0,75 0,75 0,25
4 0,375 0,375 0,875 0,875 0,625 0,125 0,625 0,125
5 0,875 0,875 0,375 0,375 0,125 0,625 0,125 0,625
6 0,125 0,625 0,625 0,125 0,375 0,375 0,875 0,875
7 0,625 0,125 0,125 0,625 0,875 0,875 0,375 0,375
8 0,6875 0,6875 0,0625 0,9375 0,4375 0,4375 0,6875 0,4375
9 0,1875 0,1875 0,5625 0,4375 0,9375 0,9375 0,1875 0,9375
10 0,9375 0,4375 0,3125 0,1875 0,6875 0,1875 0,9375 0,6875
11 0,4375 0,9375 0,8125 0,6875 0,1875 0,6875 0,4375 0,1875
12 0,8125 0,8125 0,9375 0,0625 0,8125 0,3125 0,0625 0,3125
13 0,3125 0,3125 0,4375 0,5625 0,3125 0,8125 0,5625 0,8125
14 0,5625 0,0625 0,6875 0,8125 0,0625 0,0625 0,3125 0,5625
15 0,0625 0,5625 0,1875 0,3125 0,5625 0,5625 0,8125 0,0625
16 0,65625 0,96875 0,59375 0,46875 0,34375 0,15625 0,09375 0,40625
17 0,15625 0,46875 0,09375 0,96875 0,84375 0,65625 0,59375 0,90625
18 0,90625 0,21875 0,84375 0,71875 0,59375 0,40625 0,34375 0,65625
19 0,40625 0,71875 0,34375 0,21875 0,09375 0,90625 0,84375 0,15625
20 0,78125 0,59375 0,46875 0,59375 0,96875 0,03125 0,71875 0,28125
21 0,28125 0,09375 0,96875 0,09375 0,46875 0,53125 0,21875 0,78125
22 0,53125 0,34375 0,21875 0,34375 0,21875 0,28125 0,96875 0,53125
23 0,03125 0,84375 0,71875 0,84375 0,71875 0,78125 0,46875 0,03125
24 0,09375 0,28125 0,53125 0,53125 0,15625 0,34375 0,65625 0,09375
25 0,59375 0,78125 0,03125 0,03125 0,65625 0,84375 0,15625 0,59375
26 0,34375 0,53125 0,78125 0,28125 0,90625 0,09375 0,90625 0,84375
27 0,84375 0,03125 0,28125 0,78125 0,40625 0,59375 0,40625 0,34375
28 0,46875 0,15625 0,40625 0,40625 0,53125 0,46875 0,03125 0,21875
29 0,96875 0,65625 0,90625 0,90625 0,03125 0,96875 0,53125 0,71875
30 0,21875 0,90625 0,15625 0,65625 0,28125 0,21875 0,28125 0,96875
31 0,71875 0,40625 0,65625 0,15625 0,78125 0,71875 0,78125 0,46875
Для получения адекватной структуры уравнения регрессии с максимально устойчивыми коэффициентами используют ортогональные контрасты. Теоретические сведения и алгоритмы построения ортогональных нормированных контрастов приведены в [1, с. 54-63]. Коэффициенты корреляции главных эффектов и взаимодействий ортогональных контрастов показаны на рис. 4.
0,9^гу|<1,0 0,8<|гу|<0,9 0,7<]гу|<0,8
ч 0,6 ^гу|<0,7 а 0,5<|гу|<0,б |0,4^гу|<0,5 | 0,3<]гу|<0,4 К 0,2<]гу|<0,3 0,1<|гу|<0,2 0,0<|гу|<0,1 |гЦ|=о,о
0,12' 0,77 1 2, ш 4
™ б.
0!>'
0.01
и
»/о 1% 2% ,33% 10,0 ■ 13
т 86% 17,83 21,1 I 23
■л
1%
0 10 20 30 40 50 60 70 80 90 100 Доли коэффициентов корреляции, °/о
Среднее абсолютных величин коэффициентов корреляции 0,2676. Среднее квадратичное отклонение 0,1948: а) N = 15
Среднее абсолютных величин коэффициентов корреляции 0,1978. Среднее квадратичное отклонение 0,1578: б) N = 23
0,9<|гу|<1,0 0,8<|гу|<0,9 0,7<|п]|<0,8 3 0,6<|гу|<0,7 I 0,5^гу|<0,6 о.о,4<|гч|<о,; Ё 0,3^гу|<0,4 5 0,2<|гу|<0,3 0,1^гу|<0,2 0,0<|гу|<0,1
И |=о,о
0,02' 0,12' 0,44 1,17 ■ 2,6 Ш 5
0%
'/о '/о
Уо %
Уо
29% 10.
14
%
17,94
Уо
37.529 34
Ко
,76%
10
100
20 30 40 50 60 70 80 90 Доли коэффициентов корреляции, %
Среднее абсолютных величин коэффициентов корреляции 0,1862. Среднее квадратичное отклонение 0,1491: в) N = 31
Рис. 4. Диаграммы распределения коэффициентов корреляции главных эффектов и взаимодействий ЛПГ последовательностей £10, £29, £2, £7, £4, £14, £26, £28
4. Вычислительный эксперимент
Сравнение результатов аппроксимации функции Химмельблау [9, с. 80] с помощью моделей многофакторных регулярных планов: 42//16, 52 // 25 и планов на основе ЛП последовательностей: 152 //15, 312 // 31. Функция Химмельблау:
/ (х )=(х2+X2 -11)2 + (х + X22 - 7)2,
где X = -6,0...6,0; Х2 = -6,0...6,0.
Погрешности ошибок результатов экспериментов не вводились, так как они бы исказили истинные результаты аппроксимации.
Модель плана 152 //15 с ортогональными контрастами:
у = 230,395 +104,731 • у2 + 244,832 • г2 + 303,923 • г1 ■ х2 +106,031 • г1 +114,322 • -
- 48,6134 ■ vl ■ v2 + 32,6214 ■ х2,
X
0,190476 ■ X
= 1,61538 ■(х12 - 0,380952), = 6,99592 ■(х14 - 0,965015 ■ х2 + 0,107955),
х2 = 0,190476 ■ X2,
г2 = 1,61538 ■ (х^ - 0,380952),
v2 = 6,99592 ■ (х^ - 0,965015 ■ х22 + 0,107955).
Модель плана 312 // 31 с ортогональными контрастами: у2 = 243,018 + 323,731 ■ г2 +186,533 ■ +186,227 ■ у2 +160,781 ■ + 220,529 ■ ■ х2 +
+ 220,956 ■ х1 ■ г2 + 46,4594 ■ хь
х
: 0,177778 ■ X
г = 1,55172■(х2 -0,355556), : 5,38793 ■ (х4 - 0,911111 ■ х2 + 0,0967111),
= 0,177778 ■ X,
г2 = 1,55172■(х22 -0,355556), : 5,38793 ■ (х24 - 0,911111 ■ х22 + 0,0967111).
Линии равных значений функций и точки планов показаны на рис. 5-8. Полученная
модель плана 42 //16 хорошо аппроксимирует заданные точки, однако не соответствует истинной модели в других точках (рис. 7). Модель плана 152 //15 не соответствует истинной модели (Химмельблау). При увеличении числа уровней и использовании плана 312 // 31 модель соответствует полностью истинной модели, то есть модели Химмельблау. Для ЛПГ планов вероятность расположения пробных точек к экстремальным значениям истинной модели существенно выше, чем для многофакторных регулярных планов.
Максимальная степень полинома плана 52 // 25, как и модели Химмельблау, равна четырем, в то время как модели плана 42 //16 - трем. Поэтому модель плана 42 //16 не соответствует модели Химмельб-
^ А
X 0
-2
0
Х1
Рис. 5. Линии уровней функции Химмельблау
V
V
V
2
лау, а модель плана 52 // 25 - соответствует. Однако в реальных прикладных задачах исследователю истинная модель не известна.
642-м п
-2-4-
-6
6 4
2
2
X 0 -2
-6
(ЗЩ) Химмельблау • Точки 152//15
-4
-2
0
Х1
а - точки плана 152 //15
Щ>> Химмельблау • Точки 42//16
-4
-2
0
Х1
4
2
2
X 0 -2
4
2
2
X 01 -2
(ЗЩ) Химмельблау • Точки 312//31
-4
-2
0
Х1
б - точки плана 312 // 31
Химмельблау • Точки 52//25
-4
-2
0
Х1
в - точки плана 42 //16 г - точки плана 52 // 25
Рис. 6. Размещение точек планов аппроксимации
6 4 2
Я 0 -2 -4 -6
Химмельблау,
-152//15-
0
Х1
6 4 2
* 0 -2
-6 -4
-2
Химмельблау
0
Х1
Рис. 7. Линии уровней функции Химмельблау, Рис. 8. Линии уровней функции Химмельблау, моделей: 152 //15, 42 //16 моделей планов: 312 // 31, 52//25
6
4
2
4
6
-6
2
4
6
4
2
4
6
-6
2
4
6
4
4
2
2
4
6
2
4
6
Поэтому для решения реальных задач необходимо использовать план на основе ЛПГ равномерно распределенных последовательностей 312 // 31. Анализ информативности моделей приведен в табл. 3.
Таблица 3. Анализ информативности моделей
ЛПГ МРП
152 //15 312//31 42 //16 52 // 25
Доля рассеивания, объясняемая моделью 0,987966 0,996373 1,000000 1,000000
Коэффициент множественной корреляции 0,993965 0,998185 1,000000 1,000000
скорректированный с учетом степеней свободы 0,989415 0,997731 0,985602 1,000000
Число обусловленности COND 2,059700 1,41596 1,000000 1,000000
Анализ остатков по исходной матрице
Средняя абсолютная погрешность аппроксимации 16,12690 2,156060 2,27374e-13 0,000480
Средняя погрешность аппроксимации в процентах 96,26810 4,206960 2,58356e-13 0,002568
Анализ остатков по контрольной матрице N = 63
Средняя абсолютная погрешность аппроксимации 61,07780 2,335160 221,7120 0,000611
Средняя погрешность аппроксимации в процентах 68,99710 2,707620 586,6440 0,002128
5. Выводы
Исследованные планы экспериментов на основе ЛПГ последовательностей (табл. 2) характеризуются минимально возможной коррелированностью (| ri}. |< 0,4). Полученные результаты подтверждают выдвинутую гипотезу о преимуществе ЛПГ планов экспериментов при аппроксимации исходных данных и получении структур моделей, соответствующих структурам истинных моделей. Эти планы позволяют проводить последовательное планирование экспериментов.
СПИСОК ЛИТЕРАТУРЫ
1. Радченко С.Г. Методология регрессионного анализа / Радченко С.Г. - К.: Коршйчук, 2011. -376 с.
2. Орлов В.А. Новое семейство квазислучайных последовательностей / В.А. Орлов, В.И. Рейзлин // Известия Томского политехнического университета. - 2012. - Т. 320, № 2. - С. 24 - 26.
3. Ermakov S. On the Quasi-Random Sequence in the Random Processes Modeling Algorithms // S. Er-makov, T. Tovstik // Focus on Applied Statistics. Nova Science Publishers. - 2003. - P. 91 - 102.
4. Соболь И.М. ЛП-поиск и задачи оптимального проектирования / И.М. Соболь, Р.Б. Статников // Проблемы случайного поиска: сб. статей. — Рига: Зинатне, 1972. - С. 117 - 135.
5. Соболь И.М. Многомерные квадратурные формулы и функции Хаара / Соболь И.М. - М.: Физ-матлит, 1969. - 288 с.
6. Планирование экспериментов с помощью ЛП г -сеток при решении задач оптимального проектирования / В.Г. Крейнин, В.И. Сергеев, И.Н. Статников [и др.] // АН СССР. Моделирование задач машиноведения на ЭВМ: сб. статей. - М.: Наука, 1967. - С. 26 - 31.
7. Использование методов планирования экспериментов при проектировании динамических систем / О.Б. Балакшин, В.П. Гусев, В.А. Ковановская [и др.] // АН СССР. Моделирование задач машиноведения на ЭВМ: сб. статей. - М.: Наука, 1967. - С. 32 — 36.
8. Соболь И.М. Выбор оптимальных параметров в задачах со многими критериями / И.М. Соболь, Р.Б. Статников. - [2-е изд., перераб. и доп.]. - М.: Дрофа, 2006. - 175 с.
9. Реклейте Г. Оптимизация в технике: в 2-х кн. / Реклейте Г., Рейвиндран А., Рэгсдел К.; пер. с англ. - М.: Мир, 1986. - Кн. 1. - 345 с.
Стаття надШшла доредакцИ' 27.09.2013
