CC BY
818
УДК 681.5
СРАВНИТЕЛЬНЫЙ АНАЛИЗ НЕКОТОРЫХ МЕТОДОВ СЛУЧАЙНОГО ПОИСКА И ОПТИМИЗАЦИИ
© 1999 И.А. Минаков
Институт проблем управления сложными системами РАН, г. Самара
В статье рассматриваются методы случайного поиска, широко применяемые в настоящее время. После краткого обзора современных алгоритмов случайного поиска приведен эмпирический анализ возможностей их использования на примере некоторых проблем, возникших на практике. На основе анализа даны практические рекомендации о целесообразности использования различных методов в зависимости от решаемой проблемы.
1. Введение
В последние годы проблема оптимизации сложных систем, к которой сводятся многие социально-экономические, технические, организационно-управленческие, комбинаторные задачи и задачи теории игр, становится одной из ведущих в мире искусственного интеллекта. Она часто представима в виде функции цели, которую необходимо оптимизировать (причем функция цели задана не всегда аналитическим путем, а иногда и в виде «черного ящика»), и некоторого набора начальных данных и ограничений на решение. Этому представлению соответствуют и задача о путешествующем коммивояжере, и задача об оптимальном размещении, и задачи нахождения динамического баланса, и многие другие задачи из соответствующих областей.
Традиционно основой для решения подобного класса задач служили детерминированные алгоритмы, основными из которых являются: метод сканирования (слепой поиск), метод поочередного изменения параметров (метод Гаусса-Зейделя), метод градиента, метод наискорейшего спуска и некоторые другие. Каждый из них имеет свои преимущества и недостатки, и применение конкретного метода зависит от особенностей задачи, но общей их характеристикой является то, что последовательность действий алгоритма строго предопределяется сложившейся ситуацией.
Однако в последнее время все чаще встречаются задачи, в которых точные мате-
матические методы слабо применимы или неприменимы вовсе. Это связано с целым рядом проблем, основными из которых являются проблема размерности (особенно ярко она проявляется в КР-сложных задачах, к которым относится и задача о коммивояжере) и проблема априорной неопределенности, связанная с тем фактом, что в реальных задачах знания о проблеме могут быть труднофор-мализуемыми или неформализуемыми в принципе, иногда их трудно представить в числовом виде, а в некоторых случаях получение их представляется в принципе невозможным. Все эти проблемы относятся в первую очередь к тем моделям, в которых частью является человек или общество, т.е. задачи социологии, психологии, экономики, политики и т.п.
Итак, существует целый ряд задач (например, задача рекламирования конкурирующих товаров [1], задачи экономического прогнозирования [2], задачи моделирования политической ситуации [3], задачи размещения [4] и многие другие) для которых детерминистические методы решения неприемлемы или не обеспечивают необходимой степени точности.
Поэтому необходим альтернативный подход - использование эвристических методов и намеренное введение элемента случайности в алгоритм поиска. В этом случае случайность будет служить целям сбора информации о поведении объекта исследования и целям управления. Введение такого случайного поведения дает возможность построить
алгоритмы случайного поиска, которые в условиях априорной неопределенности, мно-гопараметричности и большой размерности задачи зачастую превосходят известные регулярные алгоритмы поиска и оптимизации.
Основными достоинствами методов случайного поиска являются [5-6]:
• повышенное быстродействие;
• высокая надежность и помехоустойчивость;
• высокая робастность, т.е. малочувстви-тельность к неругулярностям поведения целевой функции, структуре множества оптимизации, наличию случайных ошибок при вычислении функции;
• сравнительно простая внутренняя реализация;
• малочувствительность к росту размерности множества оптимизации;
• возможность естественного ввода в процесс поиска операции обучения и самообучения;
• в рамках известных схем случайного поиска легко строятся новые алгоритмы, реализующие различные эвристические процедуры адаптации.
Далее в статье будут рассмотрены известные алгоритмы случайного поиска, а также новые, появившиеся в последнее время, но уже успевшие завоевать признание, и дан некоторый сравнительный анализ и рекомендации по применению этих методов.
2. Методы случайного поиска
По-видимому, впервые идея о пользе применения случайного поведения при поиске была сформулирована У.Р. Эшби в его книге «Конструкция мозга», одним из первых в России этой проблемой занимался Растри-гин [5 и др.]. В последнее время, в связи с развитием новых технологий этой проблеме уделяется пристальное внимание, поэтому представляется целесообразным дать краткое описание основных методов случайного поиска, применяемых в настоящее время.
Необходимо сразу подчеркнуть, что областью применения таких методов служат многопараметрические задачи, задачи с большим уровнем помех и возможностью сбоя, неустойчивые, с большой размерностью, с
множеством локальных экстремумов или не-гладкостью функции качества, с априорной неопределенностью или недоопределеннос-тью, т.е. все те сложные случаи, в которых аналитические методы неприменимы. Это связано в первую очередь с тем, что в более простых и формализуемых задачах аналитические методы намного превосходят методы случайного поиска.
Также не будем рассматривать методы, которые сконструированы под конкретный класс задач (например, динамическое программирование), а рассмотрим так называемые «глобальные» методы, которые могут применяться с любым кругом проблем.
Для определенности будем полагать, что задачей алгоритма оптимизации является минимизация функции качества.
Грубый случайный поиск (метод Монте-Карло)
Это самый простой и в то же время самый известный алгоритм случайного поиска, состоящий из равномерного случайного «бросания» точек в пространство поиска. Основное его достоинство - простота, и в теории глобальной оптимизации этот алгоритм применяется в основном в качестве эталона при теоретическом или численном сравнении алгоритмов и в качестве составной части некоторых алгоритмов глобального случайного поиска.
Алгоритм с парной пробой Алгоритм предполагает четкое разделение между поисковыми и рабочими шагами системы. В случайном направлении, определяемым случайным единичным вектором, по обе стороны от исходного состояния делаются пробы. Значение показателя качества в испытываемых точках и определяют направление рабочего шага, т.е. шаг делается в направлении наименьшего значения качества. В данном случае основные потери поиска связаны с двумя пробными определениями показателя качества. Предполагается, что рабочий шаг делается практически без помех.
Характерной особенностью данного алгоритма является его повышенная тенденция к «блужданию».
Алгоритм с возвратом при неудачном шаге
В пространстве оптимизируемых параметров делается шаг в случайном направлении. Если значение функции качества в новом состоянии больше или равно исходному (т.е. шаг неудачен), то система возвращается в первоначальное состояние, после чего вновь делается шаг в случайном направлении. Если же шаг удачен, то последующий случайный шаг делается уже из нового состояния.
Этот алгоритм, как и предыдущий, хорош для оптимизации «блуждающих объектов», когда функция качества по каким-то неизвестным, но определенным причинам изменяется во времени так, что в различные моменты времени система имеет различные значения функции качества.
Алгоритм с пересчетом при неудачном шаге
Это модификация предыдущего алгоритма для случая с низким уровнем помех. Возврат в исходное состояние при неудачной попытке в этом случае не производится, а просто снова делается случайный шаг, отсчитанный из старого состояния, т.е. возврат как бы пересчитывается вместе с последующим случайным шагом.
Все вышеуказанные алгоритмы легко модернизируются для случая с накоплением информации, что позволяет несколько понизить неопределенность результата оптимизации и улучшить характеристики процесса поиска. Так появляются алгоритм с возвратом, алгоритм с «забыванием» и алгоритм с запоминанием результата. Также, учитывая и храня в памяти неудачные и удачные комбинации шагов, можно повысить само-обучаемость системы. Примерами таких алгоритмов могут быть самообучение методом исключения, покоординатное экспоненциальное обучение, алгоритм покоординатного самообучения с произвольныгм законом изменения вероятности. Все эти алгоритмы подробно описаны в [5].
Существует множество алгоритмов, чья эффективность повышена за счет введения в алгоритм дополнительных составляющих: например, алгоритм многоэкстремальной стохастической аппроксимации использует элемент адаптации, на идее образования по-
крытий строится метод случайных покрытий, а метод случайный мультистарт эффективен за счет комбинации случайного выбора точек с итерациями локального спуска. Также для повышения эффективности работы используют идеи отбрасывания малоперспективных подмножеств, уменьшения доли случайности при сохранении свойств равномерности, штрафные функции, более частый выбор точек в окрестностях перспективных из рассмотренных ранее и др. [7].
Теперь рассмотрим несколько современных методов решения оптимизационных задач, которые широко применяются на практике.
Генетические алгоритмы
Генетические алгоритмы (Genetic Algorithms) можно отнести к группе адаптивных методов, которые используются для решения проблем поиска и оптимизации. Они сочетают в себе элементы детерминистического и стохастического подходов. В силу этого генетические алгоритмы относятся не только исключительно к методам случайного поиска. Более того, они успешно применяются в комбинациях с аналитическими методами или другими алгоритмами поиска и оптимизации. В основе генетических алгоритмов лежит принцип естественного отбора (выживания сильнейшего или наиболее приспособленного). В процессе поиска анализируются сразу несколько ветвей эволюции. Применяя так называемую «функцию приспособленности», определяющую насколько хорошо найденное решение проблемы и выполняющую роль окружающей среды при моделировании эволюционного процесса, GA «выращивают» новые популяции объектов, генная структура которых более приспособлена к текущей ситуации. Таким образом, генетическая модель имитирует эволюцию приспособления через механизмы изменчивости объектов [6].
Сфера применения GA очень широка: от автоматизированного проектирования, решения комбинаторных задач и проектирования нейронных сетей до применения в экспертных и обучающихся системах. Основные области применения на практике:
а.) оптимизация сложных численных фун-
кций (наиболее традиционное использование GA);
б.) распознавание образов, речи и т.п. (например снимки из космоса или создание фотороботов);
в.) комбинаторные задачи (включая задачи о путешествующем коммивояжере, планирование работ и т.п.);
г.) планирование (от размещения мебели до сложных экономических и политических проблем);
д.) самообучающиеся системы (в так называемых классифицирующих системах, где GA создают набор правил типа if... then для решения предложенной проблемы);
е.) контроль и управление (в больших, комплексных системах, таких, как фабрика или завод, они способны управлять множеством параметров для поддержания оптимального режима работы системы).
Моделируемый отжиг
Этот метод был разработан Киркпатриком в 1982 г. и хорошо описан в [8]. Как в основе генетических алгоритмов лежит идея биологической эволюции, так моделируемый отжиг (Simulated Annealing) появился в виде аналогии термодинамического процесса нагревания и медленного охлаждения субстанции для получения кристаллической структуры.
Это существенно усовершенствованная версия метода наискорейшего спуска. Начиная со случайно выбранной точки в пространстве поиска, делается шаг в случайном направлении. Если этот шаг приводит в точку с более низким уровнем значения функции оптимизации, то он принимается. Если же он приводит в точку с большим значением функции оптимизации, то он принимается с вероятностью P(t), где t - время. Функция P(t) сначала близка к единице, но затем постепенно уменьшается до нуля - по аналогии с охлаждением твердого тела.
Таким образом, в начале процесса моделирования принимаются любые ходы, но, когда «температура» падает, вероятность совершения негативных шагов уменьшается. Негативные шаги иногда необходимы в том случае, когда нужно избежать локального оптимума, но принятие слишком многих нега-
тивных шагов может увести в сторону от глобального оптимума.
На сегодняшний день этот метод является областью активных исследований (быстрый «переотжиг», параллельный отжиг) и успешно применяется во множестве областей, например, проектирование СБИС [8].
Поиск с запретами
Поиск с запретами (Tabu search) является еще одним стохастическим методом глобального поиска. Он основан на аналогии с человеческим поведением, т.е. на присутствии в поведенческой схеме человека случайных элементов, которые означают, что в одной и той же ситуации человек может повести себя разным образом. Сохранение листа запретов, в котором, например, может храниться набор уже рассмотренных точек пространства поиска, является одной из основных характеристик данного подхода. Алгоритм заключается в выборе случайной точки в пространстве поиска, рассмотрения точек из окрестностей данной точки, и, при достижении определенного критерия, выбор новой точки в другом регионе поиска, который еще не рассматривался.
Все рассмотренные методы имеют общие характеристики: они все адаптивные, итеративные, стохастические алгоритмы, на каждом шаге работы все они оценивают значение функции качества и для каждого можно доказать его сходимость к глобальному оптимуму. В недавно опубликованной NFL (No Free Lunch) теореме утверждается, что для всех алгоритмов, ищущих экстремум функции качества, производительность их одинакова, если усреднить результаты по всевозможным функциям качества.[9]. Практическое значение этой теоремы состоит в том, что не существует панацеи на все случаи жизни, несомненный успех какого-либо оптимизационного метода в определенной области знаний не гарантирует такого же успеха в другой области. Это означает, что для каждой специфической области необходимо проводить исследования и отыскивать тот оптимизационный метод, который подходит ей более всего.
При описании методов решения оптимизационных задач нельзя не упомянуть под-
ходы, которые составляют альтернативу методам случайного поиска.
Подход с использованием самоорганизующихся алгоритмов, как антипод детерминистических методов, оперирует с такими понятиями как элементарный алгоритм, эвристический критерий и интегральное воздействие. На основе подобных алгоритмов смоделированы сложные технические системы, но они могут быть использованы и в оптимизационных задачах [10,11].
Подход с использованием нечеткой логики (Fuzzy logic) [12] успешно используется во многих промышленных областях, например в области экономического управления, распознавания образов и обработки изображения. В настоящее время наметилась тенденция применения нечетких множеств в гуманитарных науках, лингвистике, психологии и социологии (в целом нечеткие множества более характерны для гуманитарных наук, так как неоднозначные, субъективные данные там встречаются чаще) [11].
Нейронные сети (Neural Networks), смоделированные по принципу поведения нейронов в человеческом мозге, частично перекрывают области применения методов случайного поиска, и также используются с целым рядом задача, включая распознавание образов, экспертные системы и машинное обучение [13].
Эволюционное программирование (Evolutionary Programming) - подход, основанный на тех же принципах, что и генетические алгоритмы, но содержащий больше эвристических зависимостей и основанный на ранжированных мутациях, применяется в ряде комбинаторных и оптимизационных задач, в задачах машинного обучения [14].
Эволюционныге стратегии (Evolution Strategies) -тоже эволюционный подход, использующий при конструировании структуры индивида адаптивный уровень мутации, что позволяет приспособиться к любой переменной модели. Также применяется в области комбинаторики, экспертных системах и при машинном обучении [15].
3. Сопоставление методов случайного поиска на примере некоторых задач
До перехода к непосредственному сравне-
нию, следует отметить, что все алгоритмы случайного поиска, имеющие наибольшее практическое значение, в той или иной степени включают в себя элементы эвристики, поэтому имеют недостаток, присущий эвристическим методам: нечетко определен класс задач, для которых алгоритмы наиболее эффективны и отсутствуют четкие рекомендации по выбору параметров работы алгоритма [7]. То есть, как уже было замечено ранее, нельзя дать исчерпывающие рекомендации по применению того или иного алгоритма, так как производительность его сильно зависит от целевой функции, о которой иногда почти ничего не известно.
Поэтому в этом разделе рассмотрим несколько примеров, возникших на практике или специально сконструированных теоретически, и, в результате эмпирических тестов, сделаем вывод о целесообразности применения того или иного метода в конкретном классе задач. Необходимо еще раз подчеркнуть, что точность метода сильно зависит от удачного выбора набора параметров его работы, и если какой-то метод при эмпирическом испытании оказался значительно хуже остальных, то нужно проверить другие наборы параметров для нахождения оптимального.
Проблема «королевских дорог»
Эта проблема предложена Холландом [ 16] как очень сложная для оптимизации в силу множества разрывов в оптимизируемой функции. Сравнительный анализ, проведенный в [17], рассматривал метод генетических алгоритмов (вЛ), моделируемый отжиг ^Л), эволюционное программирование (ЕР) и эволюционные стратегии (ES). В первую очередь сравнивалась производительность этих методов в их стандартной форме, затем производилась настройка параметров под конкретную задачу и повторное сравнение. В результате в своем стандартном варианте вЛ оказались на 30-40% лучше остальных методов, ES и ЕР в среднем действовали одинаково, и самый худший результат показал SA. После настройки параметров вЛ по-прежнему остался на первом месте, хотя с меньшим отрывом - 15 %, в зависимости от настройки параметров точность ЕР варьировалась в пределах ± 20 %, а самый большой разброс показал ES: от - 50 % до + 67 %. При должной степени настройки производитель-
ность БЛ оказалась вровень с ЕР и ЕБ.
Задача оптимизации графа
В качестве примера ЫР--трудной задачи была выбрана задача об оптимизации графа, к которой сводится множество практических задач. Стохастические методы сравнивались как между собой, так и с некоторыми вариациями детерминистических методов. Проводя эксперименты с различной структурой графа, разными схемами остывания для БЛ, подобранными эвристиками для детерминированных методов (в основном для модификации градиентного метода) и варьируя значения параметров вЛ были получены следующие результаты [18]: наиболее быстрыми, как и предсказывается теорией, оказались детерминистические методы, БЛ показал хорошую производительность за приемлемое время, а медленнее всех работали вЛ. Решение, предложенное стохастическими методами, было примерно на 30 % точнее, чем у методов градиента. Более того, выяснилось, что с ростом размерности результаты вЛ становятся точнее, чем у БЛ, хотя скорость по-прежнему остается наиболее медленной. В качестве вывода для данной проблемы необходимо отметить, что для случая с небольшим количеством узлов графа лучше применять методы градиента, далее, по мере усложнения дерева графа нужно применять более общие методы, решая задачу производительности и делая выбор между скоростью и точностью в сторону того или иного алгоритма случайного поиска.
Проблема размещения. Проектирование цепей
Проблема размещения часто встречается на практике, например, при проектировании схем и цепей. В работе [19] был проведен анализ различных стохастических методов, применяемых к данной проблеме, включая GA и SA. В процессе тестирования выяснилось, что наиболее оптимальные результаты предоставляют именно эти две технологии, причем в зависимости от структуры цепи GA дают либо эквивалентный, либо превосходящий по качеству результат, чем SA. Поскольку в подобных проблемах качество результата имеет первостепенное значение по сравнению со скоростью, представляется целесообразным использование при конструировании цепей GA.
Проблема размещения. Заполнение «рюкзака»
Эта проблема (Multiknapsnak problem [20]), состоящая в заполнении «рюкзака» различными предметами различного объема и веса и проблемой нахождения оптимального соотношения, тоже относится к классу NP-сложных задач и тоже часто возникает на практике во многих технических и экономических приложениях. Анализ применения различных методов, включая детерминистические методы, GA, SA, поиск с запретами (TS) и нейронные сети (NN) приведен в [21]. Анализ проводился для целого ряда различных условий и конфигураций. Были получены следующие результаты: по
Детерминир. метод -о- Генетмч. алгоритмы Нейронные сети — Поиск с "запретами" + Модегируемый отжиг
Общая сложность задачи (величина характеризует соотношение внутренних параметров модели)
Рис. Результаты сопоставления методов поиска
мере возрастания сложности проблемы существенно ухудшаются характеристики работы детерминистических алгоритмов, поэтому, начиная с некоторой степени сложности, они не рассматриваются далее, так как не способны представить приемлемое решение в отведенное время. SA, как и в предыдущем случае, сильно зависит от выбранной схемы охлаждения и сложности задачи, хотя при удачной настройке решает до 70 % задач. Применение NN оказалось неудачным с практической точки зрения в силу слабой скорости модифицирования при изменении условий. Только около 40 % задач в лучшем случае было решено. В случае «средней» размерности проблемы GA работают быстрее TS, решая около 85 %, в то время, как TS около 80 %. По мере возрастания размерности TS имеет тенденцию опережать GA, или, по крайней мере, идти вровень.
Проблема предсказания банковского курса валют
Алгоритмы случайного поиска, в том числе GA, SA и TS, а также нейронные сети, были модифицированы для предсказания курса валют на основании существующих графиков (данные по валюте брались из сети Internet). В стандартной форме всех вышеприведенных алгоритмов лучше всех с данной задачей справились NN, предсказывавшие до 90 % результатов (для анализа был взят сравнительно гладкий период, в котором не происходило крупных кризисов). Производительность GA и TS была немного ниже - 75 - 80 % и варьировалась в зависимости от настройки параметров. По-видимому, для SA не удалось подобрать подходящую схему охлаждения, так как алгоритм предсказывал результаты только в 55 -60 % случаев.
Алгоритм составления расписания
Алгоритмы составления расписания (Timetable algorithms) также находят широкое применение на практике: от составления расписания лекций в институте до формирования графика движения транспорта [22]. В процессе моделирования лучшие результаты показал TS, за ним, с небольшим (5 %) отрывом шел GA, за ним, с отрывом 15 %, шел SA.
Можно было бы и дальше продолжать эмпирическое сравнение различных методов случайного поиска, рассматривая все новые и
новые приложения, но на основе уже рассмотренных можно сделать некоторые выводы об особенностях применения этих методов.
4. Заключение
Как показывает практическое исследование, моделируемый отжиг является наиболее «хрупким» из рассмотренных методов, он более всего зависит от выбранных параметров моделирования, т.е. больше всех остальных нуждается в дополнительной настройке. Генетические алгоритмы, напротив, хотя при настройке они показывают лучшие (примерно на 10 -15 %) результаты, но, даже выбирая параметры по умолчанию, можно добиться приемлемой точности.
По кругу проблем, к которым применяются эти методы, видно, что наиболее узкое применение (разумеется, в рамках ограниченной в начале, сложной, многопараметричной и т.д. области) имеют детерминистические алгоритмы, различные методы градиента и т.п. Далее идет моделируемый отжиг, затем в некоторых случаях применим поиск с запретами и, наконец, генетические алгоритмы применяются с очень широким кругом задач. Эта иерархия и определяет последовательность при выборе конкретного метода для решения практической задачи. То есть, прежде всего, необходимо попробовать применить детерминистические методы и, если они применимы, то велика вероятность того, что результат будет получен и быстрее и точнее. Если же они неприменимы, то надо переходить к следующему классу алгоритмов. Нужно помнить, что работа алгоритмов случайного поиска существенно зависит от подбора управляющих параметров, поэтому после выбора алгоритма стоит произвести некоторые исследования и попробовать различные схемы управления.
Одним из наиболее многообещающих подходов к решению оптимизационных задач в настоящее время является синтез методов случайного поиска с детерминированными алгоритмами. Это направление и должно стать темой дальнейших исследований.
СПИСОК ЛИТЕРАТУРЫ
1. Таха X. Введение в исследование операций: в
2-х книгах, кн. 2, перев. с англ., М.: Мир, 1985.
2. Фишер Ф.Н. Проблемы идентификации в эконометрии. - М.: Финансы и статистика, 1978.
3. Forrest S. and Mayer-Kress G. Genetic algorithms, nonlinear dynamical systems, and models of international security. In L. Davis, editor, Handbook of Genetic Algorithms, Van Nostrand Reinhold, 1991.
4. Davis L. Applying adaptive algorithms to epistatic domains. In 9th Int. Joint Conference on AI, 1985.
5. Растригин Л.А. Статистические методы поиска. М.: Наука, 1968.
6. Goldberg. E. Genetic Algorithms in search, optimization and machine learning. Addison-Wesley, 1989.
7. Жиглявский A.A., Жилинскас А.Г. Методы поиска глобального экстремума, М.: Наука, 1991.
8. RutenbarR.A. Simulated annealing algorithms: An overview. IEEE Circuits and Devices Magazine, January 1989.
9. WolpertD.H.andMacready W.G. No free lunch theorems for optimization, IEEE Transactions on Evolutionary Computation, vol. 1. no. 1, 1997
10. Ивахненко А.Г. Системы эвристической самоорганизации в технической кибернетике. Киев: Техника, 1971.
11. Зайцева Е.Н., Станкевич Ю.А. Некоторые современные методы решения оптимизационных задач, Материалы Второй международной конференции «Новые информационные технологии в образовании», 1996.
12. Zade L. Fuzzy Sets. Information and Control, 1973.
13. Harp S.A. and Samad T. Genetic synthesis of neural network architecture. In L. Davis, editor, Handbook of Genetic Algorithms, Van Nostrand Reinhold, 1991.
14. Fogel D.B. Applying evolutionary programming
to selected traveling salesman problem, Cybernetics and Systems 24(1), 1993.
15. Back T., Hoffmeister F and Schwefel H.-P. A Survey of Evolution Strategies, in Proceedings of the 4th International Conference on Genetic Algorithms(ICCA IV), ed. R.K. Belew and L.B. Booker, Morgan Kaufman Publishers, Inc., San Diego, 1991.
16. Mitchell M., Forrest S., and Holland J. The Royal Road for Genetic Algorithms: Fitness Landscapes and GA performance, in Proceedings ofthe First European Conferenceon Artificial Life, MIT Press, Cambridge, 1992.
17. Keane A.J. A brief comparison of some evolutionary optimization methods, in Modern Heuristic Search Methods, ed. VRayward-Smith, I.Osmat, C.Reeves and G.D. Smith, J.Wiley, 1996
18. Rintala T. Empirical comparison of stochastic algorithms, in Preceedings of the Second Nordic Workshop on Genetic Algorithms and their Applications, University of Vaasa, 1996.
19. Manikas T.W., Cain G.T. Genetic Algorithms vs. Simulated Annealing: A Comparison of Approaches for Solving the Circuit Partitioning Problem, Technical Report No. 96-101, University of Pittsburgh, Dept. of Electric Engineering, 1996.
20.Martello S., Toth P Knapsnak Problems: Algorithms and Computer Implementations. Wiley-Interscience, Chichester, UK, 1996.
21. Battiti R., Tecchiolli G. Local Search with Memory: Benchmarking RTS, Operations Research Spectrum, 1995.
22. Colorni A., Dorigo M. and Maniezzo V A Genetic Algorithm to Solve the Timetable Problem. Technical Report No. 90-060, Politecnico di Milano, Italy, 1990.
COMPARISON OF DIFFERENT RANDOM SEARCH AND OPTIMIZATION
TECHNIQUES
© 1999 I.A. Minakov
Institute for the Control of Complex Systems of Russian Academy of Sciences, Samara
The paper considers methods of random search and optimization, which are widely applied recently. After brief review of modern techniques of random search and optimization, the empirical analysis of different approaches to their usage on the basis of some examples from real life is presented. Practical recommendations for expedient applying of different methods depending on particular task are given on the basis of the analysis.
