CC BY
51
subjective assessments. However, they could be used for the mean opinion score approximation.
Fig. 2. The algorithms comparison
The non-parametric model has achieved slightly better results on the test set. The main advantage of this model is that we were able to exclude the insignificant features out of the model due to the huge values of the smoothness parameters. The input parameters left in the model are: «average block distortion», «distortion loudness», «noise-to-mask ratio» and «windowed modulation difference». The input parameters which were excluded from a model: «average modulation differences», «bandwidths of the reference and test signal», «harmonic structure of the error» and «relatively disturbed frames». The accuracy of the MOS approximation can be improved by the use of
described algorithms trained on the considerably greater amount of data and estimated by a higher number of people.
References
1. ITU-R Recommendation BS.1387, Method for Objective Measurements of Perceived Audio Quality, Dec. 1998.
2. Kabal P. An Examination and Interpretation of ITU-R BS.1387: Perceptual Evaluation of Audio Quality // Department of Electrical & Computer Engineering, McGill University, Canada, 2002.
3. Anderson J. A. An Introduction to Neural Network, The MIT Press, 1995.
4. Nadaraya E. On estimating regression, Theory of Probability and its Applications. 1964. Vol. 10. P. 186-190.
5. Hagan M. T. Neural Network Design (Electrical Engineering). PWS Pub. Co. 1995.
6. Goldberg D. E. Genetic Algorithms in Search, Optimization, and Machine Learning. Addison-Wesley Professional. 1989.
7. Holland J. H. Adaptation in Natural and Artificial Systems: An Introductory Analysis with Applications to Biology, Control, and Artificial Intelligence. The MIT Press. 1992.
8. Haupt R. L. Practical Genetic Algorithms, Wiley-Interscience. 1997.
9. Wand M., Jones M. Kernel Smoothing. New York : Chapman and Hall. 1995.
© Zablotskiy S., Muller T., Minker W., 2010
УДК 681.513.5; 517.977
А. В. Кузнецов, А. И. Рубан
АЛГОРИТМЫ МЕТОДА УСРЕДНЕНИЯ КООРДИНАТ ПРИ ПОИСКЕ ГЛАВНЫХ МИНИМУМОВ МНОГОЭКСТРЕМАЛЬНЫХ ФУНКЦИЙ
Построены алгоритмы поиска заданного количества главных минимумов многоэкстремальных функций многих непрерывных переменных при активном учете ограничений неравенств. В основе алгоритмов лежит разбиение заданной области поиска на подобласти, тяготеющие к требуемым главным минимумам, и последующий поиск в каждой найденной подобласти условного глобального экстремума на основе алгоритмов метода усреднения координат. Разбиение на подобласти производится также на основе алгоритмов усреднения координат путем их последовательных запусков и исключением уже найденных подобластей с помощью дополнительных ограничений неравенств. На численных примерах продемонстрирована эффективность работы алгоритмов.
Ключевые слова: глобальная оптимизация, главные минимумы.
При решении проблемы многокритериальной оп- ет не только положение глобального минимума вы-
тимизации часто основываются на одном из показате- бранного показателя эффективности, но и положение
лей эффективности и минимизируют (или максимизи- близлежащих (по величине минимизируемой функ-
руют) его, а остальные показатели выдерживают не ции) минимумов. Указанные минимумы назовем
хуже заданных (так появляются дополнительные ог- главными.
раничения неравенства). В ограничения неравенства В работе [1] предложен алгоритм поиска главных ми-
входят также ресурсные и конструктивные ограниче- нимумов без ограничений неравенств, в [2, с. 139-143]
ния. При такой оптимизации исследователя интересу- были проведены испытания алгоритма на простейших
численных. В работе [3] предложено три эвристических способа учета ограничений, основанных на последовательном выборе наилучшей точки в области поиска и выделении окрестности вокруг нее.
В предлагаемой работе рассматривается еще один способ выделения подобластей, соответствующих главным минимумам, путем многократного запуска алгоритмов, основанных на методе усреднения координат, по всей области поиска с исключением найденных областей с помощью добавления дополнительных ограничений неравенств.
Постановка задачи. Необходимо найти заданное количество главных минимумов функции многих переменных:
I(х) = гл мин, X = (х1,..., хт)Т . (1)
хеХ
Допустимая область X определяется системой ограничений неравенств
Ф ,■ (х) < 0, ] = 1, тх .
(2)
Минимизируемая функция качества I (х) имеет широкий диапазон свойств. Она может быть многоэкстремальной, разрывной, недифференцируемой, искажена помехой. Ограничения (2) сужают область поиска экстремума. Функции ограничений
Ф] (х), ] = 1, т1 также могут быть невыпуклыми и недифференцируемыми. Допустимая область может иметь вид «узкого жгута». Поиск минимумов осуществляется только на основе измерений или вычислений указанных функций: I(х); ф}(х), ] = 1, т1 .
Алгоритмы. Три представленных ниже алгоритма включают в себя два этапа: первый этап - это разбиение исходной области на подобласти, второй - поиск глобального минимума в каждой из найденных подобластей. Особенность предлагаемых алгоритмов заключается в том, что на первом и втором этапе используются одни и те же алгоритмы усреднения координат, но запускаемые в разных областях и с разными наборами ограничений. Учет ограничений производится так же, как и в работе [3].
Исследователь задает:
- исходную гиперпрямоугольную область П0 (с центром в х0 и интервалами Ах0), которая должна содержать в себе искомые главные экстремумы;
- количество исходных пробных точек п0, равномерно распределенных внутри области П0;
- количество искомых главных минимумов пглмин ;
- количество пробных точек п , вид ядра и степень 5 его селективности, используемых при поиске глобального минимума в каждой подобласти.
Первый алгоритм (с использованием пробных точек внутри допустимой области).
В заданной прямоугольной области поиска П0 последовательно равномерно размещаются пробные точки, и из них формируется п0 точек, попадающих в допустимую область (2). Разбиение пробных точек
х(), і = 1, п0 на группы точек, тяготеющих к главным минимумам, производится следующим образом. В пробных точках вычисляется функция качества
I(х(і)) = I(і), і = 1, п0 , и на основе алгоритма глобальной оптимизации (описанного ниже) в области П1 = П0 х X отыскивается такая точка х^^, которая соответствует наименьшей величине исходной функции качества I = мин I (х). Затем вокруг этой
хє{П° х X }
точки выделяется подобласть некоторого размера, например Дх° / с, V = 1, т . Обозначим эту подобласть как П^р и добавим ее к списку ограничений (2), тем
самым исключив ее из области П0. Далее, аналогичным способом, ведется поиск в области П2 = П1 \ П^
и получается область П^ с центром в х^ и т. д. Выделение подобластей осуществляем до тех пор, пока их количество не станет равным заданному количеству пглмин главных минимумов или алгоритм не сможет
выполнить поиск хмин для очередной подобласти.
Параметр с > 1 определяет размеры подобластей и задается исследователем пока интуитивно на основе размеров исходной области П0 , априорной информации о функции качества и требуемого количества главных минимумов пглмин.
На этом первый этап - разбиение исходной области на подобласти - считается завершенным.
На втором этапе производится отыскание экстремумов в каждой найденной подобласти. При этом к неравенствам (2), которые входят в исходную постановку задачи, добавляются неравенства, определяющие прямоугольные подобласти, найденные на этапе разбиения исходной области на подобласти. Добавление таких неравенств не дает алгоритму выходить за границы этих подобластей и исключает многократные попадания в один и тот же экстремум.
Опишем алгоритм движения к минимуму на (I + 1)-м шаге, если на предыдущем шаге был получен вектор искомых переменных х1:
п ____
х'+1 = х + Дх1 и ; и = ^ и()р(,) , у = 1, т;
V V V У,мин’ V.мин / V Г 5,мин’ > >
*0 _ р.. &1) ■ „(0 _ I(0 -1-
р:
мин п
І=1
"^макс "^мин
(3)
Дх1+1 = у • Дх1 І ^ | и(і) |яр(,:і I , V = 1, т
V I я V І / ; I VI і :,мТГТГ 1 ' '
і=1
I = 0, 1, 2,
х° - х^Оодобл , Ах0 - Ах^одобл ; [0 < У,, q е {1, 2, • • •}, 0 < 5],
где 7МИН = мин{1 (‘\ I = 1, п}, 7маКс = макс{1 }, I = 1, п} ; у - коэффициент растяжения области варьирования; 5 - коэффициент селективности ядра р5 (•); в пере-
менных щ’, р5 мин, I для упрощения записи опущен номер итерации I; всегда 0 < gМ'ИН < 1. Ядра нормированы на системе п пробных точек:
-д(<)
У р0) = 1.
г 5,мин
' = 1
Перед совершением (I +1)-го рабочего шага для получения пробных точек х(,), ' = 1, п , последовательно генерируются точки (равномерно распределенные) в прямоугольной области Ах1 с центром в точке х1:
х^) = х' +Ах^ • и^,'), ыу е [-1; 1], V = 1, т, ' = 1, 2, ...
Из них оставляется п точек, попадающих в допустимую область, задаваемую ограничениями (2):
х“ = ^шн , Дх0 = ПпЛр , } = 1 пГЛмин . В пробных точках
вычисляется минимизируемая функция I('), ' = 1, п , и
на основе этих экспериментальных данных [ xV'),
V = 1, т , I(), ' = 1, п ] совершается вышеприведенное
рабочее движение и пересчитываются размеры области поиска.
Критерием останова процесса поиска обычно служит условие уменьшение размера области варьирования Ах1 до заданной величины:
тах{| АxV |, V = 1,т} < е .
Значения р5 (g) на интервале изменения 0 < g < 1 являются неотрицательными, убывающими ядрами. Выбор формы и коэффициента 5 селективности ядра существенно влияет на характеристики поиска глобального минимума. Чаще всего используется степенное ядро р5^) = (1 -gr)5, г = 1,2,3,.... Коэффициент 5 для степенных ядер лежит в широком диапазоне целых положительных чисел и подбирается сравнительно просто.
Второй алгоритм (с переходом к штрафной функции).
Введем вместо функции качества (1) и ограничений (2) штрафную функцию:
I (х(і)) = =
"^макс Iмин
+а- тах
(ф і (х</)) -Ф і 1ф.
І ,макс т і , мин
і = 1, п , а > 0 .
(4)
,(і-)ч .
рушены: при у е J(,> е 1, т1 всегда 0 <фу(х1>)
Iмин = мин{!('), ' = 1, п}, I = макс{Iм, ' = 1, п} ;
мин *- 5 5^5 макс *- 5 5^5
для каждого фиксированного у :
Фі,мин = мин{фі(х(і>), і :0 < фІ(х())},
ФІ,макс = макс{фІ (х(/)), і :0 < фІ (х(0)} .
Если при некотором і = I множество
{і: 0 <ф,(х(})} пустое, то этот номер I не входит во
множество J(і) (для каждого фиксированного і). Для пробных точек, в которых ни одно неравенство не нарушено (т. е. множество J(і) пустое) штрафная добавка берется равной нулю.
Если при некотором і = I множество
{і :0 <ф, (х(і))} состоит из одного элемента, то соответствующий элемент в функции (4), входящий под оператор тах{}, полагаем равным 1:
[ф, (х(і))-ф, 1/[ф, -ф, 1=1.
ЬтД / т /,мин -І/ I- т /,макс т/,минJ
Далее, разбиение на подобласти происходит как для первого алгоритма, но пробные точки размещаются равномерно по всей подобласти П0 (а не в ее части, как в предыдущем алгоритме) и вместо исходной функции I(і) и ограничений фІ (х(і)) используется штрафная функция І(і) (4).
После разбиения П0 на подобласти, поиск условного глобального минимума в каждой из подобластей (второй этап) ведется так же, как и в первом алгоритме, но пробные точки размещаются равномерно в каждой подобласти П;^, і = 1, пглмин без учета ограничений (2) и вместо исходной функции I() используется штрафная функция I (і) (4).
Третий алгоритм (с переходом к многомерным ядрам).
Будем учитывать ограничения путем расширения вида нормированные ядра р(і):
Р1,: (ё0)) П р2,: (ё(,))
Ё р 1,: ( 8 (Ц)) П р 2,: ( ё (?})
(5)
ц=1
I(і> -1
где ё(і) = —--------------------=ин_
I - I
№
_ (і-) = ф І(х)) -ф І
фІ
фІ
І =1, т1;
Здесь множество Jвключает только номера тех функций ограничений, для которых ограничения на-
р15 - ядро по оптимизируемой функции; р2 5 - ядро по ограничениям.
Значения I , I , ф . , ф для каждого
макс > мин ’ т у,макс ’ т у,мин ^ ^
фиксированного у , а также множество J() вычисляются так же, как и для второго алгоритма.
Если при некотором у = I множество 3состоит из одного элемента, то аргумент ядра р25 полагаем
равным 0,75. Это значение было получено экспертным путем. Если во всех пробных точках неравенства (2) не нарушены, то ядра становятся одномерными и зависят только от оптимизируемой функции:
I п
-Я» -
р^ = ри (ё (і)) Ё р 1,: (ё (Ц)).
Ц=1
Таким образом, базовый алгоритм (3) трансформируется следующим образом:
х+1 = х + Дх; и , и = Ё и(і) р(г)
V V V у,ми^ у^ин / .і V ґ :,
і=1
р.;° -
р,, (ё^) п р2, (ёі ))
і'є J(і)
: ,мин п
Ё А,: (ё::н) П р2,: (ё>)
Ц=1
І(і) - 7
ё (*) = _ мин .
о мин т
(6)
I -1
макс мин
Дх V+1 = у я,Дх VІЁIи?) 1яр?м
, V = 1, т ,
I = 0, 1, 2,.; 0 <у?; д е {1, 2, •••}; 0 < 5 .
Разбиение на подобласти производится так же, как в первом алгоритме, но пробные точки равномерно размещаются по всей области П0, а точки хмин отыскиваются на основе алгоритма (6).
После разбиения П0 на подобласти поиск минимума в каждой из подобластей ведется также, как и в первом алгоритме, но пробные точки размещаются
равномерно в каждой подобласти П]ар, у = 1, пглмин без
учета ограничений (2), и поиск условного глобального минимума в каждой подобласти производится на основе алгоритма (6).
Численный пример. Исследуем поведение алгоритмов при наличии аддитивной помехи и допустимой области в виде «узкого жгута». Как и в работе [2, с. 93], в качестве помехи будем использовать аддитивную равномерно распределенную помеху ^[-9; 0] = 9-Я[-1; 1], принадлежащую интервалу
[-9; 9] (здесь 9 определяет уровень помехи). Выбор
равномерного закона распределения помехи соответствует наихудшей ситуации, которая, в принципе, может встретиться при реальном искажении оптимизируемой функции. При этом помеха имеет максимальную приведенную энтропию среди всех непрерывных случайных величин (с любым законом распределения), изменяющихся внутри конечного интервала [-9; 9]. Рассмотрим четырехэкстремальную потенциальную функцию, построенную за счет применения операции шт к четырем элементарным экспоненциальным потенциалам:
^х) = шт{—3ехр{—3[| х, -3115 +1 х2115]},
-5ехр{-2,5[|х. + 3|2,5 + |х2|2'5]},
—7ехр{—[| х1 |1,2 + | х2 - 3|1,2]Ь -10ехр{-2[|х1|2 + |х2 + 3|2]}}. (7)
Допустимая область имеет вид кольца шириной
(0; 3), (0; -3) и принимает в них, соответственно, значения (-3), (-5), (-7), (-10). Линии равных уровней функции (7) и допустимая область (8) при А = 0,4 приведены на рис. 2. Соответственно, задавая 9 = 5, мы получим 100 % помеху.
Все три вышеописанные алгоритма хорошо справляются с поиском условного глобального экстремума при отсутствии помехи и достаточно узкой допустимой области А = 0,01.
Изменение по итерациям минимизируемой функции при поиске двух главных минимумов функции (7) при ограничениях (8) и А = 0,01 для всех трех алгоритмов отражено на рис. 3.
А:
х12 + х2 < (3 + у)2 и х12 + х2 - (3 - у)2 . (8)
Пространственный вид функции (7) представлен на рис. 1. Она имеет минимумы в точках (-3; 0), (3; 0),
Рис. 1. Потенциальная функция (7)
Рис. 2. Равные уровни функции (7) и допустимая область (8) при А = 0,4
-6,0
-6,5
-7,0
-7,5
-8,0
-8,5
-9,0
-9,5
-10,0
* 1{Х*) -1 * 1{Х*) - 2 •і 1{Х*) - 3
II; '"‘•ч. , і
/
Рис. 3. Процесс поиска двух главных минимумов всеми алгоритмами
Все алгоритмы ведут себя примерно одинаково и отыскивают два главных минимума за 7-8 итераций
і=1
(рис. 3). Начальная точка поиска находится в малой окрестности истинного решения и алгоритмы ее лишь уточняют, это обусловлено тем, что еще на первом этапе (выделение подобластей) происходит достаточно точная оценка положения главных минимумов.
Проведем исследование поведения алгоритмов при наличии узкой допустимой области (А = 0,01) и различных уровнях помехи. Для этого будем менять уровень помехи 9 от 0 до 5 (от 0 до 100 % помехи) с шагом 1 и усреднять полученные значения на каждом шаге по 101 запуску. В качестве меры качества работы алгоритмов будем использовать количество попыток размещения пробных точек N и оценки вероятности отыскания «истинных» главных экстремумов Р(|х* - х| <е).
Первый алгоритм. Считаем, что п0 = 500, область поиска с центром х0 = (0; 0) и размером Ах0 = (4; 4), q = 2, у = 1,2 , ядро по функции качества - параболическое с коэффициентом селективности 5 = 300, размер выборки при поиске экстремума в подобласти п = 250. Графики, показывающие оценки вероятности отыскания истинного экстремума и количество пробных точек при разных уровнях помехи, представлены на рис. 4.
Первый алгоритм отыскивает оба экстремума практически с вероятностью 1, но при этом алгоритм
размещает очень большое число пробных точек: 1,3-106 (рис. 4). Такое поведение обусловлено структурой ограничений - узкая область в виде жгута не дает алгоритму размещать точки нигде, кроме как в этой области. Таким образом, алгоритм практически гарантированно отыскивает заданные экстремумы, даже при 100 % помехе (если ограничений станет еще больше, то алгоритм вообще не сможет разместить пробные точки за разумное время).
Второй алгоритм. Зададим такие же параметры, как и для первого алгоритма. Штрафной коэффициент а = 1,1. Графики, описывающие поведение алгоритма при различных уровнях помехи, представлены на рис. 5.
Второй алгоритм размещает гораздо меньше пробных точек (в 40 раз), чем первый алгоритм (рис. 5). Вероятности отыскания главных минимумов хуже, чем у первого алгоритма, но вполне неплохие при таких уровнях помехи. Этот алгоритм эффективен и прост в настройке.
Третий алгоритм. Зададим такие же параметры алгоритма как и для первого алгоритма. Ядро по функции качества - степенное гиперболическое [2, с. 67] степень ядра г = 2, коэффициент селективности : = 600, ядро по ограничениям - параболическое с коэффициентом селективности : = 100. Графики, описывающие поведение алгоритма представлены на рис. 6.
1,0»
1,00
1,00
1,00
1,00
0,99
0,99
0,99
0,99
0,99
0,99
о Р I
# Экстремум №1: Р(|Х* - Х| <= є) ♦ Экстремум №2: Р(|Х* - Х| <= £)
0%
20%
40%
60%
80% 100% 0
1 324 ООО, 1 322 ООО 1 320 000 1 318 000 1 316 000 1 314 000 1 312 000 1 310 000 1 308 000 1 306 000 1 304 000 1 302 000 1 300 000 1 298 000 1 296 000
№
■»
Рис. 4. Зависимость показателей качества работы первого алгоритма от 9
Рис. 5. Зависимость показателей качества работы второго алгоритма от 9
1,00
0,99
0,98
0,97
0,96
0,95
0,94
0,93
0,92
0,91
0,90
0,89
0,88
0,87
0,86
0,85
0,84
1 ■- # Экстремум №1: Р(|Х* - Х| <= £) ♦ Экстремум №2 Р(|Х' - Х| <= £)
34 ООО 32 ООО 30 000 28 000 26 000 24 000 22 000 20 000
18 000
W і і і -—
80% 100% О
20%
40%
60% 80% 100%<9
Рис. 6. Зависимость показателей качества работы третьего алгоритма от 9
Третий алгоритм работает чуть лучше, чем второй алгоритм (рис. 6), но он гораздо более сложен в настройке, так как необходимо настраивать два ядра вместо одного (пришлось настраивать не только степень и селективность ядра, но и его вид).
Качество работы второго и третьего алгоритма можно еще повысить, задав n° = 1 000 и n = 500, но это приведет к увеличению количества пробных точек.
Программная реализация алгоритмов. Представленные алгоритмы входят в состав пакета глобальной оптимизации Global Optimizer v 2,0, в котором также представлены основные алгоритмы глобальной оптимизации, базирующиеся на методе усреднения координат. Пакет реализован на языке Delphi с использованием среды визуального программирования Delphi 2010 фирмы Embarcadero Technologies и функционирует в операционной системе из семейства Windows 2 000/XP/Vista/7.
При проектировании программных алгоритмов поиска главных минимумов был использован объектно-ориентированный подход. Ллгоритмы реализованы как надстройка над алгоритмами поиска глобального экстремума [2]. Этот подход позволяет распараллелить поиск главных экстремумов и тем самым
значительно повысить скорость работы алгоритма. Этот вариант требует специальных исследований.
Алгоритмы поиска главных экстремумов привлекают своей простотой, сравнительно небольшими вычислительными затратами, высокими точностными показателями. Проведенные исследования показали, что все три алгоритма примерно одинаково эффективны при наличии сильной помехи. Наилучшие показатели оказались у второго и третьего алгоритмов -они отыскивают главные минимумы с достаточно высокой вероятностью и при этом размещают разумное число пробных точек.
Библиографические ссылки
1. Рубан А. И. Метод непараметрической поисковой оптимизации // Изв. вузов. Физика. 1995. Т. 38, № 9. С. 65-73.
2. Рубан А. И. Глобальная оптимизация методом усреднения координат : монография. Красноярск : ИПЦ КГТУ, 2004.
3. Кузнецов А. В., Рубан А. И. Поиск главных минимумов многоэкстремальных функций при активном учете ограничений неравенств // Техника и технологии : журн. СФУ. 2010. Т. 3, № 3. С. 335-346.
A. V. Kuznetsov, A. I. Rouban
ALGORITHMS OF COORDINATES AVERAGING METHOD FOR SEARCHING OF THE PRINCIPAL MINIMUM OF MULTIEXTREME FUNCTIONS
In the article we propose algorithms for search of the set quantity of the principal minimum of multiextremal functions of continuous variables. The basis of the algorithms is sequential search of global extremum based on coordinates averaging method, with subsequent isolation of the found subdomains with the help of additional inequalities constraints. On numerical examples we demonstrate the overall effectiveness of the algorithms.
Keywords: global optimization, principal mini-mum.
© Кузнецов А. В., Рубан А. И., 2010
