CC BY
117
Статью рекомендовала к опубликованию д.т.н., профессор Л.С. Лисицына.
Курейчик Владимир Викторович - Технологический институт федерального государственного автономного образовательного учреждения высшего профессионального образования «Южный федеральный университет» в г. Таганроге; e-mail: vkur@tsure.ru; 347928, г. Таганрог, пер. Некрасовский, 44, ГСП 17А; тел.: 88634371651; кафедра систем автоматизированного проектирования; зав. кафедрой; д.т.н.; профессор.
Курейчик Владимир Владимирович - e-mail: kureichik@yandex.ru; кафедра систем автоматизированного проектирования; студент.
Kureichik Vladimir Victorovich - Taganrog Institute of Technology - Federal State-Owned Autonomy Educational Establishment of Higher Vocational Education “Southern Federal University”; e-mail: vkur@tsure.ru; GSP 17A, 44, Nekrasovskiy, Taganrog, 347928, Russia; phone: +78634371651; the department of computer aided design; head of department; dr. eng. sc.; professor.
Kureichik Vladimir Vladimirovich - e-mail: kureichik@yandex.ru; the department of computer aided design; student.
УДК 681.325
Б.К. Лебедев, О.Б. Лебедев
МОДЕЛИРОВАНИЕ АДАПТИВНОГО ПОВЕДЕНИЯ МУРАВЬИНОЙ
КОЛОНИИ ПРИ ПОИСКЕ РЕШЕНИЙ, ИНТЕРПРЕТИРУЕМЫХ
ДЕРЕВЬЯМИ*
Предлагается новая парадигма комбинаторной оптимизации trees ant colony optimization (T-ACO), основанная на идеях муравьиной колонии и, в первую очередь, на идее непрямого обмена - стигмержи (stigniergy), позволяющая осуществлять синтез дерева. Такой подход является эффективным способом поиска рациональных решений для задач оптимизации, допускающих графовую интерпретацию в виде деревьев. Представление оптимизационной задачи в виде парадигмы T-ACO опирается на два ключевых момента: формирование графа поиска решений (ГПР) и построения допустимых альтернативных решений (деревьев) на графе поиска решений. ГПР формируется из двух типов вершин: множество вершин первого типа M, являющихся листьями дерева; множество вершин второго типа C соответствуют внутренним вершинам дерева. На вершинах множества С формируется полный граф, а каждая внутренняя вершина связывается дугами со всеми вершинами множества M. Пошаговый процесс построения муравьем дерева на базе ГПР начинается со стартовой вершины S. На каждом шаге выбирается одна из еще не связанных вершин, которая связывается ребром с одной из уже ранее выбранных и связанных вершин. Описывается процедура поиска решений, способы отложения и испарения феромона.
Роевой интеллект; муравьиная колония; адаптивное поведение; самоорганизация; дерево; оптимизация.
B.K. Lebedev, O.B. Lebedev
MODELLING OF AN ANT COLONY ADAPTIVE BEHAVIOUR BY SEARCH OF THE DECISIONS INTERPRETED BY TREES
The new paradigm of combinatory optimization trees ant colony optimization (T-ACO), based on ideas of an ant colony and first of all on idea of an indirect exchange - stigmergy is offered, allowing to carry out tree synthesis. Such approach is effective way of search of rational decisions for the problems of optimization supposing graph interpretation in the form of trees.
* Работа выполнена при частичной поддержке РФФИ (проекты: № 12-01-00100, № 10-07-00055).
Representation of an optimizing problem in the form of paradigm T-ACO leans against two key moments: formation of the decisions graph (DG) and constructions of admissible alternative decisions on the DG. ГПР it is formed of two types of nodes: set of nodes of the first type M which is leaves of a tree; set of nodes of second type C correspond to internal nodes of a tree. At nodes of set With the full count is formed, and each internal node communicates arches with all nodes of set M. Step-by-step process of construction by an ant of a tree on the basis of ГПР begins with starting node S. On each step one of yet not connected nodes who communicates an edge from one of already before the chosen and connected nodes gets out.
Procedure of search of decisions on the graph; ways of adjournment and evaporation pher-omone is described.
Введение. Появление новых более совершенных средств вычислительной техники, дающих мощные вычислительные ресурсы, а также повышение требований к проектируемым устройствам, является побудительной причиной разработки новых алгоритмов. Одним из новых направлений таких методов являются мультиагентные методы интеллектуальной оптимизации, базирующиеся на моделировании коллективного интеллекта. Такие методы являются итеративными, эвристическими методами случайного поиска. Среди них особенно активно рaзвивaются методы роевого интеллектя (Swarm Intelligence) [1], в которых совокупность срявнительно простых агентов конструирует стратегию своего поведения без наличия глобального упрБвления. Идея муравьиного алгоритма моделирование поведения муравьёв, связанного с их способностью быстро находить кратчайший путь от муравейника к источнику пищи [2]. Основу поведения муравьиной колонии составляет самоорганизация, обеспечивающая достижения общих целей колонии на основе низкоуровневого взаимодействия благодаря которому, в целом, колония представляет собой разумную многоагентную систему. Особенностями являются наличие непрямого обмена, который и используется в муравьиных алгоритмах. Непрямой обмен - стигмержи (stigmergy), представляет собой разнесённое во времени взаимодействие, при котором одна особь изменяет некоторую область окружающей среды, а другие используют эту информацию позже, когда в неё попадают. Такое отложенное взаимодействие происходит через специальное химическое вещество - феромон (pheromone). Концентрация феромона на пути определяет предпочтительность движения по нему. При своём движении муравей метит путь феромоном и эта информация используется другими муравьями для выбора пути. Концентрация феромонов определяет желание особи выбрать тот или иной путь. Однако при таком подходе неизбежно попадание в локальный оптимум. Эта проблема решается благодаря испарению феромонов, которое является отрицательной обратной связью.
В основе муравьиного алгоритма лежит моделирование передвижения муравьёв по графу решений [2]. Такой подход является эффективным способом поиска рациональных решений для задач оптимизации, допускающих графовую интерпретацию. Пройденный муравьем путь отображается, когда муравей посетит все узлы графа. Процесс поиска решений муравьиным алгоритмом итерационный. Каждая итерация l включает три этапа.
На первом этапе муравей находит решение (маршрут в графе поиска решений), на втором этапе откладывает феромон, на третьем этапе осуществляется испарения феромона. Решение представляет комбинацию уникальных компонент (вершин и ребер графа поиска решений), выбираемых из, как правило, конечного набора конкурирующих между собой компонент. Целью является поиск оптимальной комбинации компонент. Задача является NP-полной, и разработать универсальный алгоритм, позволяющий находить точное оптимальное решение за приемлемое время затруднительно.
В работе, в соответствии с предложенными в [2, 3] математическими моделями поведения муравьиной колонии, разработана модификация метода муравьиной колонии для решения задач, допускающих графовую интерпретацию в виде деревьев.
Основные метаэвристические модели метода муравьиных колоний. В общем случае, метод муравьиных колоний может быть применен к любой комбинаторной задаче, которая может быть согласована со следующими требованиями.
Соответствующее представление задачи: пространство решений должно быть представлено в виде графа с набором вершин и ребер между вершинами; должно быть установлено соответствие между решением комбинаторной задачи и маршрутом в графе.
Необходима разработка правил (методов):
♦ начального размещения муравьев в вершинах графа;
♦ построения допустимых альтернативных решений (маршрута в графе);
♦ правило, которое определяет вероятность передвижения муравья из одной вершины графа к другой;
♦ правило обновления феромонов на ребрах (вершинах) графа;
♦ правило испарения феромонов.
В литературе было предложено несколько метаэвристических моделей ACO. Основные модификации ACO стоичаются правилами выбора пути, обновления феромона, опциональными действиями.
Первым методом был метод муравьиных систем (Ant System - AS) [2]. В связи с возможностью различного математического описания поведения муравьёв были разработаны расширения метода муравьиных систем. К ним относятся: метод муравьиных систем, основанный на элитной стратегии (Elitist Ant System) [2]; метод системы муравьиных колоний (Ant colony system (ACS)) [4]; метод муравьиных систем, основанный на ранжировании (ASrank) [5]; макси-минный метод муравьиных систем (MAX-MIN AS) [6].
В работе [7, 8], помимо элитных муравьев, предлагается при поиске решений использование шаблонов, что позволяет снизить вычислительную сложность и использовать накопленный опыт. Выполняется коррекция отдельных участков маршрута. Данная модификация связана с использованием частичного перебора в полученном решении. Для этого случайно выбирается часть решения, которая будет являться маршрутом заданной длины.
Отметим, что все выше рассмотренные метаэвристические модели основаны на парадигме, заключающейся в построении кратчайшего маршрута на графе
В отличие от канонической парадигмы муравьиного алгоритма в задаче разбиения [9] муравьем на графе поиска решений R(X,E) строится не маршрут, а формируется подграф RjnCR. Агент на графе решений R(X,E) совершает перемещение не от вершины к вершине, а от группы вершин к вершине. Для усиления сходимости выполняется двойное отложение феромона. Предложены способы декомпозиции структуры данных, используемой в процессах построения маршрута (формирование подграфа) и отложения феромона: отложение феромона осуществляется на графе R(X,E), построение маршрута на ориентированном графе B(X,V).Это расширяет область применения и круг решаемых задач.
Отличительной особенностью муравьиного алгоритма покрытия [10] является то, что поиск решений осуществляется на n графах поиска решений Gj-Gn, имеющих многостадийную структуру связей. С другой стороны муравьиная колония разбита на кластеры и поиск конкретного решения задачи покрытия осуществляется коллективом кластеров муравьев
В работах [11-13] построение минимального дерева Штейнера (МДТТТ) осуществляется группой муравьев. Коллектив решает задачу, которая не может быть решена одним агентом. Задачей каждого муравья является построение на графе G s-маршрута, связывающего пару вершин pi и pj. Задачей группы муравьев является построение МДШ. Впервые используется двухканальная система непрямого обмена информации. Каждый муравей имеет свой цвет. При своём движении муравей метит путь и феромоном, и своим цветом, и эта информация используется другими муравьями для выбора пути.
Большинство рассмотренных метаэвристических моделей опираются на парадигму поиска муравьем кратчайшего пути на графе. Однако для ряда задач весьма затруднительно или просто невозможно воспользоваться этой парадигмой.
В работе основное внимание сосредоточено на модификации канонической парадигмы муравьиного алгоритма для расширения сферы его применения.
Новая парадигма комбинаторной оптимизации trees ant colony optimization (T-ACO). Профессором Koza J.R. из Стенфордского университета была разработана область эволюционных вычислений под названием генетическое программирование (ГП). Основной особенностью алгоритмов ГП, которые направлены на решение задач автоматического синтеза программ на основе входных обучающих данных путем индуктивного вывода, являются древовидные структуры данных, используемые для представления генотипа.
Деревья в ГП составлены из узлов двух типов, узлов функций и узлов терминалов. Терминалы - листья дерева, соответствуют либо переменной данной области задачи, либо постоянной. Например, выражение x2 + z может быть представлено деревом, показанным на рис. 1.
Рис. 1. Представление выражения деревом
Типичной задачей ГП является задача символического регресса. Символический регресс заключается в построении математического выражения ¥, задаваемого примерами пар (х1, у1), (х2, у?),..., (хп, уп), где XI,и у{- входные и выходные записи. Обозначим как у{ значение выходной записи, получаемой с помощью выражения ¥. Для оценки математического выражения ¥ введем критерий 0=^\у, - у, \.
Примером использования древовидных структур является формирование плана кристалла путем рекурсивного разрезания прямоугольников на две части задаваемого деревом “гильотинного разреза”. Дерево разрезов (бинарное) формируется из двух типов вершин (рис. 2).
Множество вершин первого типа М={т\ 1=1,2,...,пт}, являющихся листьями дерева О, соответствуют модулям. Множество вершин второго типа С={с{ \ 1=1,2,...,пс}, соответствуют разрезам Н или V. Для бинарного дерева разрезов всегда выполняется равенство пт = пс+1.
3о
ms mg
Рис. 2. Дерево разрезов
Предлагается новая парадигма комбинаторной оптимизации trees ant colony optimization (T-ACO), основанная на идеях муравьиной колонии и, в первую очередь, на идее непрямого обмена - стигмержи (stigniergy), позволяющая осуществлять синтез дерева. Такой подход является эффективным способом поиска рациональных решений для задач оптимизации, допускающих графовую интерпретацию в виде деревьев.
Представление оптимизационной задачи в виде парадигмы T-ACO опирается на два ключевых момента: формирование графа поиска решений (ГПР) и построения допустимых альтернативных решений деревьев на графе поиска решений.
Граф поиска решений G=(MuC,U), строится следующим способом. Пусть nc=4, а nm =5. В начале, на вершинах множества С формируется полный граф (рис. 3). Ребра неориентированные. Вводится стартовая вершина S, которая дугами связывается с каждой вершиной множества С (рис. 4). Далее каждая вершина ci связывается дугами со всеми nm вершинами множества M (рис. 5).
Рис. s. Первый этап построения ГПР
Рис. 4. Второй этап построения ГПР
ЗІ
Поиск решения. После построения ГПР на всех его ребрах откладывается начальное количество феромона Ц/у, где у=|Ц].
В общем случае поиск решения задачи осуществляется коллективом муравьев Т={ 1к1к=1,2,...,щ}. В начале муравьи размещаются в стартовой вершине 8. Процесс поиска решений итерационный. На каждой итерации муравьиного алгоритма каждый муравей гк строит свое конкретное решение задачи. Решением является бинарное дерево в графе 0=(ИиС,и). Каждая итерация I включает три этапа. На первом этапе муравей находит решение, на втором этапе откладывает феромон, на третьем этапе осуществляется испарения феромона. В работе используется циклический (ап1;-сус1е) метод муравьиных систем. В этом случае ферромон откладывается агентом на ребрах после полного формирования решения. На первом этапе каждой итерации каждый к-й муравей формирует свое собственное бинарное дерево Бк. Бинарное дерево формируется на базе ГПР последовательно от корня до листьев.
Пошаговый процесс построения дерева на базе ГПР начинается со стартовой вершины 8. В результате осуществляется выбор муравьем корневой вершины с0еС. Можно исключить стартовую вершину 8 и в качестве начальных вершин у формируемых муравьями деревьев использовать вершины множества С общим числом пс. Через некоторое число итераций можно сменить способ начального размещения. В начале муравьи размещаются в вершинах множества С. А затем помещают всех муравьев в стартовую вершину Б, поскольку через некоторое количество итераций выяснится, что использование некоторые вершин в качестве начальных не приводит к построению оптимальных деревьев , в связи с этим нет смысла каждый раз обязательно помещать в них муравьев
На каждом шаге выбирается одна из еще не связанных вершин, которая связывается ребром с одной из уже ранее выбранных и связанных вершин. На вершины ГПР накладываются следующие ограничения. Вершины множества М могут быть в строящемся дереве только дочерними (листьями), в каждую вершину т^е М входит только одно ребро ГПР. Вершины множества С должны быть связаны с двумя дочерними вершинами из множества СиМ и сами, в свою очередь, являются дочерними для некоторых вершин множества С. Изначально, каждая вершина с{еС обладает двумя вакансиями для связи с двумя дочерними вершинами. В процессе построения дерева вакансии вершин с{еС последовательно заполняются. Процесс завершается после заполнения всех вакансий.
Состояние процесса построения дерева на шаге t описывается следующими параметрами.
Подмножества C1(t) aC и M1(t) aM включают вершины уже вошедшие в состав строящегося дерева на t-1 предыдущих шагах. Подмножества C2(t)a C и M2(t)aM включают вершины, которые еще не вошли в состав строящегося дерева. C1(t)uC2(t)= C, M1(t)uM2(t)=M. Причем, если C2(t)uM2(t)^0, то вершины множества Ci(t) должны обладать, хотя бы одной вакансией
Процедура включения на шаге t вершины в состав строящегося дерева производится с соблюдением условия достаточности вакансий, суть которого заключается в том, что если число вершин еще не вошедших в состав строящегося дерева больше единицы (т.е. >1), то после включения одной из таких
вершин в множество C1(t)uM1(t) вновь образованное множество C1(t+1) должно обладать хотя бы одной вакансией.
Для каждой вершины XjeX2(t)=C2(t)UM2(t), определяется набор ребер Ujk(t), связывающих Xj с вершинами множества Xi(t)=Ci(t)uMi(t), каждое из которых с соблюдением перечисленных выше ограничений и условия достаточности, может войти в состав строящегося бинарного дерева. Для каждого ребра иє (uUjk(t)) определяется параметр fik - суммарный уровень феромона на этом ребре.
Вероятность Pik включения ребра ui в формируемое дерево Dk(t) определяется следующим соотношением:
Pik=fik / Ь( fik).
Агент с вероятностью Pik выбирает одно из ребер, которое включается в строящееся дерево Dk(t).
На втором этапе итерации, каждый муравей откладывает феромон на рёбрах построенного дерева.
Количество феромона Лт^і), откладываемое муравьем zk на каждом ребре построенного дерева Dk, определяется следующим образом:
Лт(1)= Q / Fk(l),
где l - номер итерации, Qi - общее количество феромона, откладываемое муравьем на ребрах маршрута Dk, Fk(l) - целевая функция для решения, полученного муравьем zk на l-ой итерации. Чем меньше Fk(l), тем больше феромона откладывается на ребрах построенного дерева и, следовательно, тем больше вероятность выбора этих ребер при построении деревьев на следующей итерации.
После того, как каждый агент сформировал решение и отложил феромон, на третьем этапе происходит общее испарение феромона на ребрах графа G в соответствии со следующей формулой:
fik = fik(1-P),
где p - коэффициент обновления. После выполнения всех действий на итерации находится агент с лучшим решением, которое запоминается. Далее осуществляется переход на следующую итерацию.
Временная сложность этого алгоритма зависит от времени жизни колонии l (число итераций), количества позиций с и числа агентов m, и определяется как O(l*c2*m).
Заключение. Предлагается новая парадигма комбинаторной оптимизации trees ant colony optimization (T-ACO) , основанная на идеях муравьиной колонии и в первую очередь на идее непрямого обмена - стигмержи (stigniergy), позволяющая осуществлять синтез дерева. Такой подход является эффективным способом поиска рациональных решений для задач оптимизации, допускающих графовую интерпретацию в виде деревьев. Алгоритм оптимизации T-ACO может быть успешно применен для решения сложных комплексных задач оптимизации. Типич-
ЗЗ
ный пример решения подобной задачи - задача планирования кристалла СБИС, задача размещения, задача построения кратчайших связывающих сетей, задача синтеза математических выражений, обучения и распознавания образов. Исследования показали, что предлагаемый метод может давать лучшие результаты, чем при использовании генетических алгоритмов и нейронных сетей
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Engelbrecht A.P. Fundamentals of Computational Swarm Intelligence. John Wiley & Sons, Chichester, UK, 2005.
2. Dorigo M. and Sttitzle T. Ant Colony Optimization. MIT Press, Cambridge, MA, 2004.
3. Dorigo M., Sttitzle T. Ant Colony Optimization: Overview and Recent Advances. M. Gendreau and Y. Potvin, editors, Handbook of Metaheuristics, 2nd edition. Vol. 146 in International Series in Operations Research & Management Science, Springer, Verlag, New York, 2010. - P. 227-263.
4. Dorigo M., Gambardella L.M. Ant Colony System: A Cooperative Learning Approach to the Traveling Salesman Problem // IEEE Transactions on Evolutionary Computation. - 1997.
- Vol. 1, № 1. - P. 53-66.
5. Bullnheimer B., Hartl R.F. and Strauss C. A New Rank Based Version of the Ant System: A Computational Study // Central European Journal for Operations Research and Economics.
- 1999. - № 7 (1). - Р. 25-38.
6. Sttitzle T. and Hoos H.H. MAX-MIN Ant System. Future Generation Computer Systems.
- 2000. - № 16 (8). - P. 889-914.
7. Курейчик В.М., Кажаров А.А. О некоторых модификациях муравьиного алгоритма // Известия ЮФУ. Технические науки. - 2008. - № 4 (81). - C. 7-12.
8. Кажаров А.А., Курейчик В.М. Муравьиные алгоритмы для решения транспортных задач // Теория и системы управления. - М.: Изд-во «Наука», 2010. - № 1.
9. Курейчик В.М., Лебедев Б.К., Лебедев О.Б. Разбиение на основе моделирования адаптивного поведения биологических систем // Нейрокомпьютеры: разработка, применение. - 2010. - № 2. - С. 28-34.
10. Лебедев О.Б. Покрытие методом муравьиной колонии // Двенадцатая национальная конференция по искусственному интеллекту с международным участием КИИ-2010. Труды конференции. Т. 2. - М.: Физматлит, 2010. - С. 423-431.
11. Лебедев Б.К., Лебедев В.Б. Построение кратчайших связывающих сетей на основе метода муравьиной колонии // Нечеткие системы и мягкие вычисления: C6. ст. Третьей Всероссийской научной конференции: В 2 т. Т. II. - Волгоград: Волгоградский гос. техн. Университет, 2009. - С. 42-50.
12. Лебедев О.Б. Трассировка в канале методом муравьиной колонии // Известия ЮФУ. Технические науки. - 2009. - № 4 (93). - С. 46-52.
13. Лебедев В.Б. Построение кратчайших связывающих сетей на основе роевого интеллекта // Известия ЮФУ. Технические науки. - 2011. - № 7 (120). - С. 37-44.
Статью рекомендовал к опубликованию д.т.н., профессор Я.Е. Ромм.
Лебедев Борис Константинович - Технологический институт федерального государственного автономного образовательного учреждения высшего профессионального образования «Южный федеральный университет» в г. Таганроге; e -mail: lbk@tsure.ru; 347928, г. Таганрог, пер. Некрасовский, 44, ГСП 17А; тел.: 88634371743; кафедра систем автоматизированного проектирования; профессор.
Лебедев Олег Борисович - кафедра систем автоматизированного проектирования; доцент.
Lebedev Boris Konstantinovich - Taganrog Institute of Technology - Federal State-Owned Autonomy Educational Establishment of Higher Vocational Education “Southern Federal University”; e-mail: lbk@tsure.ru; GSP 17A, 44, Nekrasovsky, Taganrog, 347928, Russia; phone: +78634371743; the department of computer aided design; professor.
Lebedev Oleg Borisovich - the department of computer aided design; associate professor.
