CC BY
28
Раздел III. Методы адаптации и нейросетевые
алгоритмы
УДК 681.325 DOI 10.18522/2311-3103-2016-7-89101
Б.К. Лебедев, О.Б. Лебедев, Е.М. Лебедева
РАЗБИЕНИЕ НА КЛАССЫ МЕТОДОМ АЛЬТЕРНАТИВНОЙ КОЛЛЕКТИВНОЙ АДАПТАЦИИ*
Рассматривается задача кластеризация, решение которой осуществляется на основе интеграции последовательного метода и метода на основе коллективной альтернативной адаптации. Предварительно случайным образом или с помощью одного из конструктивных алгоритмов произведено разнесение объектов по L классам, т.е. выбрано некоторое решение из пространства решений. Основная процедура осуществляет разнесение на два класса (L=2). В том случае, когда L>2, можно считать, что разбиение строится сначала для отделения изображений первого класса (образа) от всех остальных. Далее процедура разбиения повторяется на множестве оставшихся изображений с тем, чтобы выделить второй класс и т.д. Процесс разбиения завершается после того, как только отделения очередного подмножества становится невозможным. В работе процесс поиска решения представляется в виде адаптивной системы, которая работает в условиях частичной (или полной) априорной неопределенности и изменяющихся внешних условиях, а получаемую в процессе работы информацию об этих условиях, используют для повышения эффективности работы. Сложившаяся ситуация характеризуется двумя факторами: состоянием среды, в которой находится объект, и самим объектом адаптации. Процесс поисковой адаптации имеет последовательный многоэтапный характер, на каждом этапе которого определяется адаптирующее воздействие на объект, повышающее его эффективность и оптимизирующее критерии качества. Работа объекта под действием адаптирующего воздействия заключается в перемещении из кластера, в котором он размещен, в один из соседних кластеров. Характер и величина адаптирующего воздействия на каждый элемент индивидуальны. Под воздействием серии адаптирующих воздействий, характер и величина которых меняется на каждой итерации, все объекты (коллектив) последовательно перераспределяются между кластерами. Цель конкретного объекта mi достичь состояния, при котором суммарный вектор сил, действующий на него со стороны всех объектов, размещенных в одном и том же кластере с m, имел максимальное значение. Целью же коллектива объектов является достижение такого разнесения объектов по кластерам, при котором минимальное расстояние между парой объектов, принадлежащих разным кластерам имеет максимальное значение. Для реализации механизма адаптации каждому объекту mt ставится в соответствие автомат адаптации AAt с двумя группами состояний {С1 и С2} соответствующих двум альтернативам A1i и AЧисло состояний в некоторой группе задается параметром Qi, называемым глубиной памяти. На вход автомата адаптации AAi подается сигнал «поощрение» или «наказание» в зависимости от состояния объекта адаптации mi в среде. На каждом шаге работы адаптивной системы процесс коллективной адаптации осуществляется за четыре такта. Исследования показали, что временная сложность алгоритма на одной итерации имеет оценку О(п), где п - число элементов, а максимальная эффективность адаптивного поиска обеспечивается при значениях управляющих параметровц=2, T=80, где q - глубина памяти АА и Т- число итераций.
Распознавание образов; кластеризация; коллективная альтернативная адаптация; автомат адаптации; гибридный алгоритм.
* Работа выполнена при финансовой поддержке грана Российского научного фонда (проект № 14-11-00242) в Южном федеральном университете.
B.K. Lebedev, O.B. Lebedev, E.M. Lebedeva
PARTITION A CLASS METHOD ALTERNATIVE COLLECTIVE
ADAPTATION
The paper deals with the clustering problem, the solution of which is based on the sequential method and the method of integration on the basis of a collective alternative adaptation. Randomly or by one of the structural diversity algorithms performed on objects classes L, selected a solution from the solution space. The basic procedure provides separation into two classes (L=2). In the case where L>2, it can be assumed that the partition is constructed to separate the first image of the first class (image) from the rest. Further decomposition is repeated on the remaining set of images in order to identify a second class etc. The process of decomposition is terminated after only a subset of another separation becomes impossible. In the process of finding solutions presented in the form of an adaptive system that works in a partial (or complete) a priori uncertainty and changing environmental conditions, and obtained in the process of information about these conditions, is used to improve performance. The current situation is characterized by two factors: the state of the environment in which the object and the object itself to adapt. The process of adaptation of the search has a serial multi-stage character, at each stage is determined by adapting the impact of an object increases its efficiency and optimize the quality criteria. Working under the action of adapting the object is to move the impact of the cluster in which it is housed in one of the neighboring clusters. The nature and magnitude of the impact of adapting to each individual element. Under the influence of a series of adapting influences the nature and amount of which varies in each iteration, objects (team) consistently redistributed between clusters. The purpose of a particular object mi achieve a state in which the vector sum offorces acting on it from all the objects located in the same cluster with mi, has a maximum value. The purpose of the collective object is to achieve such objects diversity clusters where the minimum distance between the pair of objects belonging to different clusters, has a maximum value mi. To implement the mechanism of adaptation to each object is assigned a AAt automatic adaptation to the two groups of states (C1i and С2}corresponding to the two alternatives A1i and A2i. The number of states in a group given by Qt parameter called memory depth. On AAi adaptation machine input signal is "promotion" or "punishment" depending on the state of adaptation of the object in the environment mi. At each step of the adaptive system of collective adaptation process is carried out in four cycles. Studies have shown that the time complexity of the algorithm in one iteration has an opinion O(n), where n -number of elements, and the maximum efficiency of the adaptive search is provided by control parameters: q = 2, T = 80, where the depth of memory q - AA and T - the number of iterations.
Pattern recognition; clustering; collective alternative adaptation; automatic adaptation; hybrid algorithm.
Введение. Развитие и распространение компьютерной обработки информации привели к возникновению в середине ХХ века потребностей в технологиях, позволяющих машинам осуществлять распознавание в обрабатываемой ими информации. Разработка методов машинного распознавания позволяет расширить круг выполняемых компьютерами задач и сделать машинную переработку информации более интеллектуальной. Примерами сфер применения распознавания могут служить системы распознавание текста, машинное зрение, распознавание речи, отпечатков пальцев и прочее. Несмотря на то, что некоторые из этих задач решаются человеком на подсознательном уровне с большой скоростью, до настоящего времени ещё не создано компьютерных программ, решающих их в столь же общем виде. Существующие системы предназначены для работы лишь в специальных случаях со строго ограниченной областью применения [1-5].
Основные, традиционные задачи теории распознавания образов — это выбор информативных признаков, выбор решающих функций, предварительная классификация объектов (таксономия). Образ может быть задан с помощью некоторого набора различных реализаций, который называют обучающей выборкой. Алгоритм, решающий задачу распознавания в соответствии с заложенным в нем прин-
ципом, классифицирует объект, задаваемый некоторым кодом. Код реального объекта представляет собой конечную дискретную последовательность отсчета кодирующего устройства. Такой подход позволяет рассматривать код как точку в пространстве признаков. Число осей в пространстве будем называть размерностью. Будем считать, что в пространстве признаков заданы некоторые точки. Эти точки являются кодами некоторых реальных объектов. В дальнейшем, говоря об изображениях объектов, будем подразумевать их код в пространстве признаков [6-7].
Кластерный анализ (Data clustering) - задача разбиения заданной выборки объектов (ситуаций) на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из схожих объектов, а объекты разных кластеров существенно отличались [1-8].
Цели кластеризации:
♦ Понимание данных путём выявления кластерной структуры. Разбиение выборки на группы схожих объектов позволяет упростить дальнейшую обработку данных и принятия решений, применяя к каждому кластеру свой метод анализа (стратегия «разделяй и властвуй»).
♦ Сжатие данных. Если исходная выборка избыточно большая, то можно сократить её, оставив по одному наиболее типичному представителю от каждого кластера.
♦ Обнаружение новизны (novelty detection). Выделяются нетипичные объекты, которые не удаётся присоединить ни к одному из кластеров.
Во всех этих случаях может применяться иерархическая кластеризация, когда крупные кластеры дробятся на более мелкие, те в свою очередь дробятся ещё мельче, и т.д. Такие задачи называются задачами таксономии. Результатом таксономии является древообразная иерархическая структура. При этом каждый объект характеризуется перечислением всех кластеров, которым он принадлежит, обычно от крупного к мелкому. Визуально таксономия представляется в виде графика, называемого дендрограммой.
В настоящее время при решении задачи распознавания в различных предметных областях разработано большое количество методов [1-12]. Каждый из них по-своему уникален, обладает собственными возможностями и ограничениями. В одних случаях для решения конкретной задачи разрабатывается специальный метод распознавания, в других применяется адаптация существующих решений к специфике данной задачи.
Одна из классификаций методов распознавания различает их по способу представления объектов распознавания. Эта характеристика в значительной степени определяет содержание метода, его область применения и используемый математический аппарат. Используемый методом способ представления образов можно расценивать как принятый в нём подход к распознаванию, на основе которого методы можно сравнивать между собой. Одним из широко распространённых подходов к представлению распознаваемых объектов является их представление в виде точек Евклидова пространства, которое строится следующим образом [3, 4].
Над первичным представлением распознаваемого образа производится серия вычислений, определяющих необходимые для классификации характеристики. Далее в многомерном Евклидовом пространстве (параметрическом пространстве, или пространстве характеристик), каждое измерение которого соответствует одной из вычисляемых характеристик, строится точка, соответствующая совокупности полученных измерений [5, 6]. Такой подход использует предположение, что в пространстве признаков изображения, принадлежащие одному и тому же образу, близки, а изображения, принадлежащие различным образам, хорошо различимы друг от друга. Такое предположение составляет сущность гипотезы компактности [1].
Дано множество объектов М=(ш1 | ¡=1,2,...,п}. Каждый объект описывается совокупностью некоторых признаков (свойств, характеристик, параметров): Х={х I ]=1,2,... ,пнаборы которых одинаковы для всех объектов. СовокупностьX, значений признаков объекта ш, определяет некоторым образом его описание
Признаки могут выражаться в терминах да/нет, да/нет/неизвестно, числовыми значениями, значениями из набора возможных вариантов и т.д. Если признаки представлены действительными числами, то можно векторы образов рассматривать как точки п-мерного евклидова пространства.
Пусть известно число Ь классов (образов) К1, К2, .. КЬ, к которым могут относиться всевозможные изображения ш, на X. Пусть также для некоторых изображений ш, из пространства X известны классы (образы), к которым они принадлежат, т.е. априори для каждого класса К задается подмножество изображений М,. Совокупность таких подмножеств изображений называют обучающей последовательностью.
На всём множестве М существует разбиение на подмножества (классы объектов): М=и М/. Разбиение на классы может быть задано полностью или определяться некоторой априорной информацией о классах М/ - например, характеристическим описанием входящих в них объектов.
Задача распознавания состоит в том, чтобы для каждого данного объекта ш, по его описанию X, и априорной (обучающей) информации Х0 принять решение об отнесении объекта ш, к тому или иному классу.
В работе рассматривается детерминистская постановка задачи распознавания, подразумевающая задачу отыскания разбиения в пространстве признаков X множества объектов М на Ь взаимно непересекающихся подмножеств М/, иМ/=М., каждое из которых соответствует некоторому классу (образу) К, [8, 9].
Можно выделить следующие основные используемые виды правил классификации [1-3]:
♦ решающие (дискриминантные) функции;
♦ функции расстояния;
♦ функции правдоподобия.
При построении правил классификации на основе функций расстояния в качестве предпосылки используется то соображение, что естественным показателем сходства образов является степень близости точек, описывающих эти образы в Евклидовом пространстве. Для каждой пары объектов измеряется «расстояние» между ними - степень похожести. Существует множество метрик, вот лишь основные из них: Наиболее распространенная функция расстояния представляет собой геометрическое расстояние в многомерном пространстве:
Для придания большего веса более отдаленным друг от друга объектам применяется, квадрат евклидова расстояния. Это расстояние вычисляется следующим образом:
По совокупностям точек, Евклидово расстояние между которыми мало, выделяют область пространства, соответствующую данному классу изображений. Выбор метрики полностью лежит на исследователе, поскольку результаты кластеризации могут существенно отличаться при использовании разных мер.
XHx/mlj=1,2,...,nj} [3].
К
p(x,x,) = Yj(xi-xi)2
Определение принадлежности объектов различным классам производится на основе анализа расстояний между точками объектов одного класса и между точками объектов различных классов. Классы представляются в виде кластеров в параметрическом пространстве. Построение правил классификации заключается в поиске функций, обеспечивающих оптимальное построение кластеров объектов. Данный подход активно использует методы кластерного анализа.
Важно отметить, что при классификации на основе функции расстояния, как в прочем и на основе других подходов, Евклидово расстояние между парой объектов отражает степень похожести и является константой и в силу этого не может изменяться при группировке. можно выделить ряд групп подходов.
Общепринятой классификации методов кластеризации не существует, но можно выделить ряд групп подходов [11-13]. Вероятностный подход: ^средних (К-means), K-medians, EM-алгоритм, Алгоритмы семейства FOREL, дискриминантный анализ. Подходы на основе систем искусственного интеллекта: метод нечеткой кластеризации С-средних (C-means), нейронная сеть Кохоне-на, генетический алгоритм. Логический подход: построение дендрограммы осуществляется с помощью дерева решений. Теоретико-графовый подход: графовые алгоритмы кластеризации. Иерархический подход: подразделяются на агломера-тивные (объединительные) и дивизивные (разделяющие). Другие методы, не вошедшие в предыдущие группы. Существует свыше 100 разных алгоритмов кластеризации, однако, наиболее часто используемые - иерархический кластерный анализ и кластеризация методом к-средних. Метод к-средних имеет и ряд недостатков. Во-первых, предположение о нормальности всех измерений данных не всегда выполняется. Во-вторых, при неудачной инициализации сходимость алгоритма может оказаться медленной. Кроме этого, алгоритм может остановиться в локальном минимуме и дать квазиоптимальное решение. В работе представлен комбинированный подход к кластеризации на основе интеграции метода к-средних с методами адаптивного поведения биологических систем целью которого является усиление сходимости алгоритма и способности выхода из локальных оптимумов, что позволяет работать с задачами большой размерности и получать качественные результаты за приемлемое время.
Формальная постановка задачи кластеризации. Пусть M множество объектов, L - множество номеров (имён, меток) кластеров [10]. Задана функция расстояния между объектами p(m, т) Имеется конечная обучающая выборка объектов Mn={m1,..., тп}сМ. Требуется разбить выборку на непересекающиеся подмножества, называемые кластерами, так, чтобы каждый кластер состоял из объектов, близких по метрике р, а объекты разных кластеров существенно отличались. При этом каждому объекту П1 е Мп приписывается номер кластера К. Алгоритм кластеризации - это функция а: М , которая любому объекту П1 е Мп ставит в соответствие номер кластера уе У. Множество У в некоторых случаях известно заранее, однако чаще ставится задача определить оптимальное число кластеров, с точки зрения того или иного критерия качества кластеризации [2-7]. Построение искомого разбиения, т.е. обучение, производится исходя из обучающей последовательности [13, 14].
Алгоритм начинает работу с инициализации, т.е. некоторого приближенного решения,
Будем считать, что L=2. В том случае, когда L>2, можно считать, что разбиение строится сначала для отделения изображений первого класса (образа) от всех остальных. Далее процедура разбиения повторяется на множестве оставшихся изображений с тем, чтобы выделить второй класс и т.д. Процесс разбиения завершается после того, как только отделения очередного подмножества становится невозможным.
В работе процесс поиска решения представляется в виде адаптивной системы, которая работает в условиях частичной (или полной) априорной неопределенности и изменяющихся внешних условиях, а получаемую в процессе работы информацию об этих условиях, используют для повышения эффективности работы. Сложившаяся ситуация характеризуется двумя факторами: состоянием среды, в которой находится объект, и самим объектом адаптации. Процесс поисковой адаптации имеет последовательный многоэтапный характер, на каждом этапе которого определяется адаптирующее воздействие на объект, повышающее его эффективность и оптимизирующее критерии качества.
На первом этапе с помощью конструктивного эвристического алгоритма определяется первоначальное разбиение элементов множества. При построении правил классификации на основе функций расстояния в качестве предпосылки используется то соображение, что естественным показателем сходства образов является степень близости точек, описывающих эти образы в Евклидовом пространстве. При использовании функций расстояния классы объектов представляются в виде кластеров в параметрическом пространстве. На этапе распознавания используется критерий минимума расстояния между точкой распознаваемого объекта и кластером класса, к которому этот объект должен быть отнесён. Построение правил классификации заключается в построении кластеров оптимальным образом. Один из простейших способов выявления кластеров заключается в следующем [8].
Имеется выборка {т1,т2,..., ты} и некоторая неотрицательная пороговая величина Т . Пусть центр первого кластера совпадает с одной из точек выборки; для простоты положим г1 = т1.
Вычисляется расстояние Б21 между точкой т2 и первым центром г1. Если это расстояние больше пороговой величины Т , то точка т2 назначается центром нового, второго кластера. Иначе, эта точка включается в первый кластер. Пусть, например, это условие выполнено и z2= т2. Далее вычисляются расстояния Б31 и Ю32 от точки т3 до центров г1 и г2. Если обе эти величины больше порога Т , т3 назначается центром нового кластера. Если хотя бы одно из расстояний меньше порога, объект т3 зачисляется в тот кластер, к центру которого он ближе. Далее, по тому же принципу, для каждого образа вычисляются расстояния от него до всех имеющихся центров, и если все эти величины превосходят порог, этот образ выделяется в отдельный кластер; в противном случае он зачисляется в кластер с ближайшим к нему центром.
Результаты применения данного способа зависят от выбора первого центра, порядка обхода объектов выборки, величины порога Т, а также геометрических свойств выборки. Однако, несмотря на эти недостатки, он эффективен с вычислительной точки зрения, т.к. выполняет только один проход по выборке.
Другим алгоритмом выявления кластеров является алгоритм максиминного расстояния [7-9].
Он во многом схож с предыдущим алгоритмом, но его особенностью является стремление к выделению в первую очередь наиболее удалённых кластеров. Как и ранее, произвольный объект, например т1, назначается первым центром г1. Далее для всех остальных объектов вычисляется расстояние до этого центра и наиболее удалённый назначается новым центром.
На следующем шаге вычисляются пары расстояний от каждого из оставшихся объектов до двух имеющихся центров г1и г2и из каждой пары выбирается минимальное. После этого выбирается максимальное из полученных минимальных расстояний, и, если оно составляет значительную часть расстояния между и г2 (например, не менее половины этого расстояния), соответствующий объект назначается центром Если максиминное расстояние недостаточно велико, алгоритм
останавливается. На всех последующих шагах процедура повторяется с учётом нового набора кластеров. Для каждого объекта, не являющего центром, вычисляются наборы расстояний до всех имеющихся центров кластеров и в каждой группе выбирается минимальное. Максимальное среди минимальных расстояний сравнивается с «типичным» расстоянием между центрами кластеров (например, «типичным» расстоянием может служить среднее). Если это расстояние достаточно велико, образуется новый кластер, в противном случае процедура завершается. Каждый их объектов, не назначенных в качестве центров, относится к тому кластеру, центр которого к нему ближе.
Рассмотрим алгоритм последовательного выделения в первую очередь наиболее удалённых кластеров [3, 5, 9]. Имеется выборка М=(шьш2,..., шы}. На первом шаге из выборки {ш],ш2,., шы} выбирается пара элементов расстояние между которыми имеет максимальное значение. Выбирается любой элемент пары, который помещаем в кластер К]. На последующих шагах выполняются следующие действия. Пусть X] - множество элементов выборки, вошедших в состав формируемого кластера К], а Х2 - множество элементов выборки X, не вошедших в состав формируемого кластера К], Среди элементов множества Х2 выбирается элемент ш,еХ2, находящийся на минимальном расстоянии йш„ от элементов множества Х]. Затем находится минимальное расстояние й2пйп между т,е Х2 и остальными элементами Х2. Если ^^ значимо превосходит d]min ,то х, включается в кластер К]
Когда все объекты отнесены к тому или иному кластеру их центры пересчи-тываются: рассчитывается геометрический центр кластера. Далее итерационно повторяются этапы перераспределении объектов между кластерами. Каждый объект относится к тому кластеру, к центру которого он ближе всего. На каждом этапе перераспределение производится между очередным кластером и остальными кластерами Процесс повторяется, пока изменения в центрах кластеров не станут равны 0 (достигнуто оптимальное решение) или не будет превышено допустимое число итераций
Адаптивный алгоритм кластеризации. Полученное конструктивным алгоритмом решение используется в качестве начального в итерационном алгоритме, на основе коллективной альтернативной адаптации.
Представим процесс поиска решения в виде адаптивной системы, работающей на основе моделирования коллективного поведения автоматов адаптации. Представление исходной формулировки задачи в виде адаптивной системы, основанной на идеях коллективного поведения, предполагает решение следующих задач [16-18]:
a) формирование моделей среды и объектов адаптации;
b) формирование локальных целей объектов адаптации и глобальной цели коллектива;
c) разработка альтернативных состояний объекта адаптации, структуры обучающегося автомата адаптации и механизмов переходов АА;
d) разработка методики выработки управляющих сигналов поощрения или наказания в процессе работы адаптивного алгоритма;
e) разработка общей структуры процесса адаптивного поиска.
На каждой итерации с учетом адаптирующего воздействия выполняется групповое перераспределение элементов между кластерами, т.е. переход к новому решению. Элементы являются объектами адаптации. Будем элементы рассматривать как материальные точки, на которые действуют силы притяжения и отталкивания. Состоянию объекта в среде соответствует суммарная сила, действующая на объект со стороны других объектов.
Состояние среды характеризуется составом элементов в кластерах и, как следствие, значениями сил притяжения и отталкивания, действующих на каждый элемент. Характер этих сил различен в зависимости от выбранных критериев оптимизации. Сила притяжения между объектами и п,, помещенными в один и тот же кластер
Работа объекта под действием адаптирующего воздействия заключается в перемещении из кластера, в котором он размещен, в один из соседних кластеров. Характер и величина адаптирующего воздействия на каждый элемент индивидуальны. Под воздействием серии адаптирующих воздействий, характер и величина которых меняется на каждой итерации, все объекты (коллектив) последовательно перераспределяются между кластерами.
Цель конкретного объекта mi достичь состояния, при котором суммарный вектор сил, действующий на него со стороны всех объектов, размещенных в одном и том же кластере с п,, имел максимальное значение.
Целью же коллектива объектов является достижение такого разнесения объектов по кластерам, при котором минимальное расстояние между парой объектов, принадлежащих разным кластерам имеет максимальное значение .
Имеется выборка объектов М={п, | -=1,2,...,п}, разбитая на два класса. Для каждого элемента п,еМсуществует только две альтернативы А\ и A2i разнесения по кластерам К1, К2. Частным решением задачи является набор альтернатив для объектов п,, в соответствии с которым осуществляется разнесение объектов по классам. Множество всех возможных частных решений составляют пространство решений.
Будем считать, что предварительно случайным образом или с помощью одного из конструктивных алгоритмов произведено разнесение объектов по классам, т.е. выбрано некоторое решение из пространства решений.
Процесс поиска в пространстве решений оптимального решения представим в виде адаптивной системы, работающей в условиях неопределенности.
На каждом шаге под действием адаптирующего воздействия осуществляется переход от одной вершины пространства решений к другой, т.е. перевыбор альтернатив для объектов. Состояние среды определяется совокупностью выбранных альтернатив для объектов и как следствие этого - разбиение выборки объектов М на два класса. Объектами адаптации являются объекты выборки М .
Состояние объекта адаптации в среде оценивается соотношением суммарной стоимости расстояний S1i между mi и объектами выборки М, входящими в состав К1, и суммарной стоимости расстояний S2i между mi и объектами выборки М, не входящими в состав К1.
Локальная цель каждого объекта адаптации п, - достичь такого состояния, при котором предпочтительная альтернатива совпадает с реализованной. Что соответствует достижению состояния, при котором S2i значимо больше S1i.
Глобальная цель коллектива автоматов адаптации формирование кластера К1, включающего объекты максимально схожими друг с другом.
Для реализации механизма адаптации каждому объекту п, ставится в соответствие автомат адаптации AAi с двумя группами состояний {С\ и С2,} соответствующих двум альтернативам А1, и А2. Число состояний в некоторой группе задается параметром Qi , называемым глубиной памяти. На вход автомата адаптации АА, подается сигнал «поощрение» или «наказание» в зависимости от состояния объекта адаптации mi в среде. На рис. 1 приведена граф-схема переходов автомата адаптации. Знаком «+» помечены переходы под действием сигала «поощрение», знаком «-» помечены переходы под действием сигнала «наказание».Если автомат адаптации AAi находится в одном из состояний группы С1,, то реализуется альтер-
натива А1,, в соответствии с которой объект mi включается в состав кластера К1. Если автомат адаптации AAi находится в одном из состояний группы С2,, то реализуется альтернатива А2, в соответствии с которой объект т, включается в состав
кластера АЧ
4 *
(+) (+) (") (+) <+)
(+
с; сг
Рис. 1. Граф-схема переходов автомата адаптации
Методика выработки управляющих сигналов для АА, заключается в следующем.
Для каждого объекта mi рассчитываются суммарная стоимость расстояний 81, между объектом т1 и объектами т^ входящими в состав К1, т^еК1, и суммарная стоимость расстояний между объектом mi и объектами т/, не входящими в состав К1, т^еК2.
31, = X Р(т» т}, {¡\ т,е К }.
!
32,=X р(тг, т) {¡\ т,еК }.
Далее рассчитывается коэффициент И, соотношения значений и З2, : И= З1,.
Число кластеров в некоторых случаях известно заранее, однако чаще ставится задача определить оптимальное число кластеров, с точки зрения того или иного субъективного критерия качества кластеризации. Не существует однозначно наилучшего критерия качества кластеризации. Известен целый ряд эвристических критериев [10-14], а также ряд алгоритмов, не имеющих чётко выраженного критерия, но осуществляющих достаточно разумную кластеризацию «по построению». Все они могут давать разные результаты [10-14].
Задачу кластеризации можно ставить как задачу дискретной оптимизации: необходимо так приписать номера кластеров у, объектам т, , чтобы значение выбранного функционала качества приняло наилучшее значение. Существует много разновидностей функционалов качества кластеризации, но нет «самого правильного» функционала [15]. По сути дела, каждый метод кластеризации можно рассматривать как точный или приближённый алгоритм поиска оптимума некоторого функционала.
Работа представленного адаптивного алгоритма преследует две цели:
♦ Сумма средних внутрикластерных расстояний должна быть как можно меньше.
♦ Сумма межкластерных расстояний должна быть как можно больше.
Задачу кластеризации можно рассматривать как построение оптимального
разбиения объектов на группы. При этом оптимальность может быть определена как требование минимизации среднеквадратической ошибки разбиения:
где с - «центр масс» кластера] (точка со средними значениями характеристик для данного кластера) [8].
На каждом шаге работы адаптивной системы процесс коллективной адаптации осуществляется за четыре такта [16-18]. Предварительно выбираются значения двух пороговых параметров Т1 и Т2 таких, что Т}< Т2.
1. На первом такте по рассчитанным параметрам среды оцениваются состояния объектов mi в среде.
Для этого рассчитываются параметры S1i, S2i, h,= S2/ S1.
2. На втором такте для каждого автомата адаптации, находящемся в одном из состояний группы C1i:
если hi >Т2, то вырабатывается сигнал "поощрения" (+) ;
если hi < Т1< Т2, то вырабатывается сигнал "наказание" (-);
если Т1< hj < Т2, то с вероятностью S2i/(S2i +S1) вырабатывается сигнал "поощрения" (+), а с вероятностью S1i/(S2i +S1,) вырабатывается сигнал "наказание".
Для каждого автомата адаптации, находящегося в одном из состояний группы С i:
если hi >Т2, то вырабатывается сигнал "наказание" (-);
если hi <Т1< Т2, то вырабатывается сигнал "поощрения" (+);
если Т1< hi < Т2, то с вероятностью S2,/(S2i +S1,) вырабатывается сигнал
"наказание", а с вероятностью S1J(S2i +S1) вырабатывается сигнал "поощрения" (+).
Параметры Т1 и Т2 (пороги значимости) являются управляющими и задаются априорно, причем
Т1<Т2.
3. На третьем такте под действием сигналов "поощрения" и "наказания" автоматы адаптации АА переходят в новые состояния.
4. На четвёртом такте для каждого объекта реализуются альтернативы, в соответствии с состояниями АА.
Посредством изменения порогов расстояния T1 и T2 возможно контролировать степень различия получаемых кластеров.
В качестве критерия остановки работы алгоритма рассматривается минимальное изменение среднеквадратической ошибки. Так же возможно останавливать работу алгоритма, если на некоторой итерации нет объектов, перемещающих из кластера в кластер. Адаптивный алгоритм кластеризации был реализован на языке Си++. Экспериментальные исследования проводились на ЭВМ типа IBM PC/AT Pentium 166. При проведении экспериментальных исследований преследовались две цели: поиск наилучшего сочетания значений управляющих параметров таких как q- глубина памяти АА и N - число итераций; исследование эффективности алгоритма.. Исследования показали, что временная сложность алгоритма на одной итерации имеет оценку О(п), где п - число объектов, а максимальная эффективность адаптивного поиска обеспечивается при значениях управляющих параметров: q=2, N=80, где q- глубина памяти АА и N - число итераций. Вероятность получения оптимального решения после одного прогона при совместной работе алгоритмов составила 0,9. Использование вероятностных значений управляющих сигналов и вероятностных методов реализации альтернатив на основе метода моделирования отжига повышает возможности алгоритма по выходу из "локальных ям". Для анализа точности получаемых решений был синтезирован ряд примеров с априори известным оптимальным значением целевой функции. Исследованию подвергались примеры, у которых обучающая выборка содержала до 1000 примеров Сравнение с известными алгоритмам [19-23] показало, что при меньшем времени работы у полученных с помощью разработанного алгоритма решений значения целевой функции лучше (меньше) в среднем на 6 %. Временная сложность алгоритма (ВСА), полученная экспериментальным путем, лежит в пределах О(п2)-О(п3).
Заключение. Несмотря на достаточно большое число разработанных моделей и алгоритмов кластерного анализа, при решении прикладных задач исследователи часто сталкиваются с рядом проблем, к числу которых относятся трудность в обосновании качества результатов анализа, учитывающего специфику конкретной задачи, а также проблема поиска глобального экстремума у критерия качества разбиения на классы.
Отсюда можно сделать вывод о целесообразности дальнейшего развития методов кластерного анализа, позволяющих решать указанные проблемы. К числу перспективных тенденций относятся разработка гибридных методов кластеризации. В работе рассматриваются новые принципы решения задачи кластеризации на основе интеграции моделей адаптивного поведения биологических систем. Для реализации механизмов адаптации разработана архитектура адаптивной системы, а также структура и механизмы поведения автомата адаптации. Ключевой проблемой, которая была решена в данной работе это методика выработки управляющих сигналов для AAt «поощрение» или «наказание» в зависимости от состояния объекта адаптации Mt в среде. Источником усовершенствования может быть более детальная проработка вопросов рефлексивного поведения, на основе парного взаимодействия размещаемых элементов, что ускорит процесс достижения элементами целевого состояния.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Han J., Kamber M. Data mining: Concepts and Techniques. - Morgan Kaufmann Publishers, 2001.
2. Ian H. Witten, Eibe Frank and Mark A. Hall. Data Mining: Practical Machine Learning Tools and Techniques. - 3rd Edition. - Morgan Kaufmann, 2011.
3. Лбов Г.С., Бериков В.Б. Устойчивость решающих функций в задачах распознавания образов и анализа разнотипной информации. - Новосибирск: Изд-во Ин-та математики, 2005. - 218 с.
4. Журавлев Ю.И., Рязанов В.В., Сенько О.В. Распознавание. Математические методы. Программная система. Практические применения. - М.: Фазис, 2006. - 159 c.
5. Шлезингер М., Главач В. Десять лекций по статистическому и структурному распознаванию. - Киев: Наукова думка, 2004. - 545 c.
6. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. - Springer, 2001. COMPACT - Comparative Package for Clustering Assessment. A free Matlab package, 200б.
7. Воронцов K.B. Алгоритмы кластеризации и многомерного шкалирования. Курс лекций.
- M.: МГУ, 2007.
S. Лебедев Б.К, Лебедев В.Б. Эволюционная процедура обучения при распознавании образов // Известия ТРТУ. - 2004. - № S (43). - С. 83-SS.
9. ^тов А., Kраcильникoв Н. Кластеризация данных. - 200б. - 16 с.
10. Berkhin P. Survey of Clustering Data Mining Techniques, Accrue Software, 2002.
11. Бериков В.С., Лбов Г.С. Современные тенденции в кластерном анализе // Всероссийский конкурсный отбор обзорно-аналитических статей по приоритетному направлению «Информационно-телекоммуникационные системы», 2008. - 2б с.
12. Fern X.Z., Brodley C.E. Clustering ensembles for high dimensional data clustering // In Proc. International Conference on Machine Learning. - 2003. - P. 1S6-193.
13. Fred A., Jain A.K. Combining multiple clusterings using evidence accumulation // IEEE Tran. on Pattern Analysis and Machine Intelligence. - 2005. - Vol. 27. - P. S35-S50.
14. Jain A., Murty M., Flynn P. Data clustering: A review // ACM Computing Surveys. - 1999.
- Vol. 31, no. 3. - P. 2б4-323.
15. Kyрейчик В.М., Лебедев Б.К, Лебедев О.Б. Поисковая адаптация: теория и практика.
- М.: Физматлит, 2006. - 272 c.
16. Цетлин М.Л. Исследования по теории автоматов и моделированию биологических систем. - М.: Наука, 1969. - 31б c.
17. Kyрейчик В.М., Лебедев Б.К, Лебедев О.Б. Разбиение на основе моделирования адаптивного поведения биологических систем // Нейрокомпьютеры: разработка, применение. - 2010. - № 2. - С. 28-34.
18. David Arthur & Sergei Vassilvitskii. "How Slow is the k-means Method?" // Proceedings of the 2006 Symposium on Computational Geometry (SoCG). - 2006.
19. Gorban A.N., Zinovyev A.Y. Principal Graphs and Manifolds, Ch. 2 in: Handbook of Research on Machine Learning Applications and Trends: Algorithms, Methods, and Techniques, Emilio Soria Olivas et al. (eds), IGI Global, Hershey, PA, USA, 2009. - P. 28-59.
20. Mirkes E.M. K-means and K-medoids applet. University of Leicester, 2011.
21. Adam Coates and Andrew Y.Ng. Learning Feature Representations with K-means, Stanford University, 2012.
22. Вятченин Д.А. Нечёткие методы автоматической классификации. - Минск: Технопринт,
2004. - 219 c.
REFERENCES
1. Han J., Kamber M. Data mining: Concepts and Techniques. Morgan Kaufmann Publishers, 2001.
2. Ian H. Witten, Eibe Frank and Mark A. Hall. Data Mining: Practical Machine Learning Tools and Techniques. 3rd Edition. Morgan Kaufmann, 2011.
3. Lbov G.S., Berikov V.B. Ustoychivost' reshayushchikh funktsiy v zadachakh raspoznavaniya obrazov i analiza raznotipnoy informatsii [Stability of decision functions in problems of pattern recognition and analysis of diverse information]. Novosibirsk: Izd-vo In-ta matematiki,
2005, 218 p. '
4. Zhuravlev Yu.I., Ryazanov V.V., Sen'ko O.V.Raspoznavanie. Matematicheskie metody. Programmnaya sistema. Prakticheskie primeneniya [Recognition. Mathematical methods. Software system. Practical application]. Moscow: Fazis, 2006, 159 p.
5. Shlezinger M., Glavach V. Desyat' lektsiy po statisticheskomu i strukturnomu raspoznavaniyu [Ten lectures on statistical and structural recognition]. Kiev: Naukova dumka, 2004, 545 p.
6. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. Springer, 2001. COMPACT - Comparative Package for Clustering Assessment. A free Matlab package, 2006.
7. Vorontsov K. V. Algoritmy klasterizatsii i mnogomernogo shkalirovaniya. Kurs lektsiy [Clustering algorithms and multidimensional scaling. A course of lectures]. Moscow: MGU, 2007.
8. Lebedev B.K., Lebedev V.B. Evolyutsionnaya protsedura obucheniya pri raspoznavanii obrazov [The evolutionary procedure learning for image recognition], Izvestiya TRTU [Izvestiya TSURE], 2004, No. 8 (43), pp. 83-88.
9. Kotov A., Krasil'nikov N. Klasterizatsiya dannykh [Clustering data], 2006, 16 p.
10. Berkhin P. Survey of Clustering Data Mining Techniques, Accrue Software, 2002.
11. Berikov V.S., Lbov G.S. Sovremennye tendentsii v klasternom analize [Modern trends in cluster analysis], Vserossiyskiy konkursnyy otbor obzorno-analiticheskikh statey po prioritetnomu napravleniyu «Informatsionno-telekommunikatsionnye sistemy», 2008 [all-Russian competitive selection of survey and analytical articles on priority direction "Information-telecommunication systems", 2008], 26 p.
12. Fern X.Z., Brodley C.E. Clustering ensembles for high dimensional data clustering, In Proc. International Conference on Machine Learning, 2003, pp. 186-193.
13. Fred A., Jain A.K. Combining multiple clusterings using evidence accumulation, IEEE Tran. on Pattern Analysis and Machine Intelligence, 2005, Vol. 27, pp. 835-850.
14. Jain A., Murty M., Flynn P. Data clustering: A review, ACM Computing Surveys, 1999, Vol. 31, no. 3, pp. 264-323.
15. Kureychik V.M., Lebedev B.K., Lebedev O.B. Poiskovaya adaptatsiya: teoriya i praktika [Search adaptation: theory and practice]. Moscow: Fizmatlit, 2006, 272 p.
16. Tsetlin M.L. Issledovaniya po teorii avtomatov i modelirovaniyu biologicheskikh system [Research in automata theory and modeling of biological systems]. Moscow: Nauka, 1969, 316 p.
17. Kureychik V.M., Lebedev B.K., Lebedev O.B. Razbienie na osnove modelirovaniya adaptivnogo povedeniya biologicheskikh sistem [Partitioning based on simulation of adaptive behavior of biological systems], Neyrokomp'yutery: razrabotka, primenenie [Neurocomputers: development, application], 2010, No. 2, pp. 28-34.
18. David Arthur & Sergei Vassilvitskii. "How Slow is the k-means Method?", Proceedings of the 2006 Symposium on Computational Geometry (SoCG), 2006.
19. Gorban A.N., Zinovyev A.Y. Principal Graphs and Manifolds, Ch. 2 in: Handbook of Research on Machine Learning Applications and Trends: Algorithms, Methods, and Techniques, Emilio Soria Olivas et al. (eds), IGI Global, Hershey, PA, USA, 2009, pp. 28-59.
20. Mirkes E.M. K-means and K-medoids applet. University of Leicester, 2011.
21. Adam Coates and Andrew Y.Ng. Learning Feature Representations with K-means, Stanford University, 2012.
22. Vyatchenin D.A. Nechetkie metody avtomaticheskoy klassifikatsii [Fuzzy methods of automatic classification]. Minsk: Tekhnoprint, 2004, 219 p.
Статью рекомендовал к опубликованию д.т.н., профессор А.Г. Коробейников.
Лебедев Борис Kонстантинович - Южный федеральный университет; e-mail: [email protected]; 347928, г. Таганрог, пер. Некрасовский, 44; тел.: 89282897933; кафедра систем автоматизированного проектирования; профессор.
Лебедев Олег Борисович - e-mail: [email protected]; тел.: 89085135512; кафедра систем автоматизированного проектирования; доцент.
Лебедева Елена Михайловна - e-mail: [email protected]; тел.: 89081702418; кафедра систем автоматизированного проектирования; аспирант.
Lebedev Boris Konstantinovich - Southern Federal University; e-mail: [email protected]; 44, Nekrasovsky, Taganrog, 347928, Russia; phone: +79282897933; the department of computer aided design; professor.
Lebedev Oleg Borisovich - e-mail: [email protected]; phone: +79085135512; the department of computer aided design; associate professor.
Lebedeva Elena Mikhaylovna - e-mail: [email protected]; phone: +79081702418; the department of computer aided design; postgraduate student.
УДК 681.513.66 Б01 10.18522/2311-3103-2016-7-101114
М.Ю. Медведев, В.А. Рогов, Т.Н. Медведева
ПОЗИЦИОННО-ТРАЕКТОРНОЕ УПРАВЛЕНИЕ ПОДВИЖНЫМИ ОБЪЕКТАМИ С МНОГОКОНТУРНОЙ АДАПТАЦИЕЙ*
Предложена многоконтурная позиционно-траекторная система управления подвижными объектами с обеспечением астатизма и адаптивной настройкой параметров. Рассматривается задача позиционирования подвижного объекта в заданной точке. В первом контуре вычисляется управление, обеспечивающее желаемую динамику замкнутой системы и астатизм второго порядка. Во втором контуре управления осуществляется настройка параметров в соответствии с известными алгоритмами беспоисковой адаптации по эталонными моделям. При этом предлагается алгоритм настройки параметров, позволяющий сохранять заданное соотношение между корнями характеристического уравнения настраиваемой системы. Первый и второй контуры системы управления позволяют компенсировать внешние возмущения и адаптироваться к параметрическим возмущениям. В третьем контуре производится настройка параметров эталонной модели, которая позволяет изменять требования к замкнутой системе в зависимости от того, достигаются ли ограничения на управления. При достижении ограничений на амплитуду управляющих воздействий увеличиваются постоянные времени эталонного уравнения. В работе проводится исследование устойчивости замкнутой системы управления методом функций Ляпунова. Предложенные алгоритмы управления демонстрируются на примере подвижного объекта, описываемого уравнениями кинематики и динамики твердого тела. В уравнениях
*
Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований, грант № 16-08-00013.
