Исследование устойчивости параллельного алгоритма решения задачи сильной отделимости на базе фейеровских отображений Текст научной статьи по специальности «Математика»

МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ

УДК 519.6

ИССЛЕДОВАНИЕ УСТОЙЧИВОСТИ ПАРАЛЛЕЛЬНОГО АЛГОРИТМА РЕШЕНИЯ ЗАДАЧИ СИЛЬНОЙ ОТДЕЛИМОСТИ НА БАЗЕ ФЕЙЕРОВСКИХ ОТОБРАЖЕНИЙ

А.В. Ершова, И.М. Соколинская

В теории распознавания образов важное значение имеет задача сильной отделимости, заключающаяся в разделении двух выпуклых непересекающихся многогранников слоем наибольшей толщины. В работе рассматриваются нестационарные задачи сильной отделимости, то есть задачи, исходные данные которых меняются в ходе вычислительного процесса. Алгоритмы решения таких задач должны обладать двумя свойствами: автокорректируемостью и устойчивостью. Автокорректируемость подразумевает, что алгоритм может эффективно продолжать свою работу после единичного изменения входных данных. Устойчивость означает, что малое изменение входных данных приводит к малому изменению результата. Свойством автокорректируемости обладают итерационные алгоритмы, использующие фейеровские процессы. В статье описывается параллельный алгоритм решения задачи сильной отделимости на базе фейеровских отображений, допускающий эффективную реализацию на многопроцессорных системах с массовым параллелизмом. Вводится понятие устойчиво фейеров-ского отображения. Доказывается теорема, определяющая условия, при которых фей-еровское отображение будет устойчиво фейеровским.

Ключевые слова: Фейеровское отображение, задача сильной отделимости, итерационный метод, псевдопроекция точки, устойчиво фейеровское отображение.

Введение

Задача разделения двух выпуклых непересекающихся многогранников имеет большое значение теоретического и прикладного характера в распознавании образов, включающем задачи дискриминации, классификации и др. Задача сильной отделимости может быть решена в ходе итерационного процесса, использующего операцию проектирования. Однако на практике применение этого метода существенно ограничивается тем, что далеко не всегда удается построить конструктивную формулу для вычисления проекции точки на выпуклое множество. Поэтому целесообразно заменить операцию проектирования последовательностью фейеровских отображений [1], строящих некоторую псевдопроекцию . Фейеровские методы относятся к итерационным методам проекционного типа, применяемым для решения систем линейных неравенств и задач линейного программирования. Их конструкция, то есть конструкция соответствующих фейеровских операторов, базируется на той или иной суперпозиции элементарных проектирований, а именно - проектирований на полупространства.

Среди современных методов классификации и распознавания образов одно из ведущих мест занимает метод опорных векторов, известный также как метод обобщенного портрета или машины опорных векторов (Support Vector Machines, SVM) [2]. Системы, разработанные на его основе, успешно решают задачи в таких областях, как биоинформатика, машинное зрение, категоризация текстов, распознавание рукописных символов и др. Однако метод

опорных векторов оказывается неэффективным в случае изменяющихся исходных данных. Алгоритмы разделения многогранников на основе фейеровских отображений обладают тем преимуществом по сравнению с этим и другими известными методами, что они применимы к нестационарным задачам [3], т.е. к задачам, в которых исходные данные могут меняться в процессе решения задачи.

Для итерационных алгоритмов, решающих нестационарные задачи особенно важным является вопрос их устойчивости, так как динамическое изменение входных данных и погрешности вычислений могут привести к тому, что алгоритм выдаст неверный результат, либо итерационный процесс вообще перестанет сходиться.

В данной работе исследуется вопрос устойчивости параллельного алгоритма решения задачи сильной отделимости на базе фейеровских отображений, предложенного в работе [4]. Далее описывается математическая модель сильной отделимости с использованием фейеровских отображений. Приводится итерационный алгоритм F решения задачи сильной отделимости, основанный на построении псевдопроекций. Рассматривается масштабируемый алгоритм S построения псевдопроекции, позволяющий реализовать параллельную версию алгоритма F. Вводится понятие устойчиво фейеровского отображения. Доказывается теорема, определяющая условия, при которых фейеровское отображение будет устойчиво фейе-ровским.

1. Математическая модель

Пусть даны два выпуклых непересекающихся многогранника M С К” и N С К”, заданные системами линейных неравенств:

M = {x|Ax < b} = 0;

N = {x|Bx < d} = 0; (1)

M П N = 0.

Задача сильной отделимости - это задача нахождения слоя наибольшей толщины (п-слоя), разделяющего M и N. Сильная отделимость, по существу, эквивалентна задаче отыскания расстояния между M и N в смысле метрики

p(M,N) = min{||x — y\||x € M, y € N}. (2)

Если X € M и y € N являются arg-точками задачи (2), то есть p(M, N) = \\x — y\\, то слоем

наибольшей толщины, разделяющим множества M и N, является P := {x | x € Pi П P2}, где

Pi и P2 - полупространства, задаваемые линейными неравенствами

(x — x, x — y) < 0 и (y — y, x — y) > 0 .

Задача сильной отделимости может быть решена с помощью известного метода последовательного проектирования [1]. Если множества M и N достаточно просты в смысле простоты реализации операции проектирования точек на них, то алгоритм на базе последовательного проектирования может быть использован на практике. Но если M и N - произвольные многогранники, то такой алгоритм не может быть признан эффективным, так как не известен универсальный конструктивный метод построения проекции точки на многогранник. Ситуацию можно исправить, если вместо операции проектирования использовать фейеровские отображения.

Дадим определение фейеровского отображения. Пусть <р € {К” ^ К”}. Отображение <р называется M-фейеровским, если выполняются следующие два условия:

Р(у) = у, Vy € M;

Wp(x) — yW < ||x — yW, Vy Є M, Vx / M.

Сконструируем M-фейеровское отображение, следуя работе [Б]. Представим систему линейных неравенств, задающих многогранник M, в следующем виде:

Ax < b : j (x) = (aj, x) — bj, j = 1,..., m, (3)

где aj = О для любого j. Определим 1+ (x) следующим образом:

1+ (x) = max (j (x), О), j = 1,..., m. (4)

Тогда отображение вида

™ 1+(x)

P(x) = x — ajXj ЇЇТТІЇ2 aj (Б)

W a j w

j=i її лі

будет M-фейеровским для любой системы положительных коэффициентов {aj > О},

m

j = 1,...,m, таких, что ^ aj = 1 и коэффициентов релаксации О < Aj < 2. Аналогич-

j=i

ным образом сконструируем N-фейеровское отображение 0. Используя отображения р и

0, мы можем построить следующий алгоритм F, решающий задачу сильной отделимости с использованием фейеровских отображений.

Алгоритм F. Пусть задано произвольное начальное приближение Zq Є М”. Зафиксируем положительное вещественное число є. Алгоритм состоит из следующих шагов:

Шаг О. k := О.

Шаг І. xk+i := lim pu(zk).

U—

Шаг 2. yfc+i := lim 0u(zk).

U—^

Шаг 3. zk+i := Xk+1 + yk+1.

Шаг 4. k := k + 1.

Шаг Б. Если min{||xk+i — x^||, Wyk+i — yk W} > є, перейти на шаг І.

Шаг б. Стоп.

Алгоритм F был исследован в работе [б]. Проведенные вычислительные эксперименты на модельных и случайных задачах подтвердили его эффективность. Однако, для больших размерностей работа алгоритма F требовала значительного времени. Например, при размерности задачи n = 512 время счета на одном процессорном ядре составило Іб часов, а при размерности задачи n = 1О24 - б08 часов (более 2Б дней). В связи с этим возникла необходимость разработки параллельной версии этого алгоритма для многопроцессорных систем с массовым параллелизмом. Очевидно, что в алгоритме F ресурсоемкими являются шаги І и 2. На каждом из этих шагов реализуется последовательный фейеровский процесс, в результате которого мы получаем псевдопроекцию точки на многогранник. Исследования показали, что подобные фейеровские процессы не допускают эффективного распараллеливания на большом количестве процессорных узлов (предел масштабируемости в экспериментах не превышал 8-Іб узлов). В следующем разделе описывается масштабируемый алгоритм построения псевдопроекции точки на многогранник с использованием фейеровских отображений, предложенный в работе [4].

2. Масштабируемый алгоритм S построения псевдопроекции

В основе масштабируемого алгоритма построения псевдопроекции на многогранник лежит метод разбиения пространства на подпространства. Для каждого подпространства организуется независимый фейеровский процесс. Через каждые s шагов результаты, полученные на подпространствах, соединяются в один вектор, который и является очередным

приближением. Если расстояние между соседними приближениями меньше заданного положительного числа є, то полученный вектор принимается в качестве псевдопроекции. В противном случае вычисления продолжаются.

Дадим формальное описание алгоритма построения псевдопроекции на выпуклый многогранник, допускающего эффективное распараллеливание на большом количестве процессорных узлов. Введем следующие обозначения. Для произвольного линейного подпространства Р С К” через пр(х) будем обозначать ортогональную проекцию х Є К” на линейное подпространство Р. Везде далее линейное подпространство мы будем называть просто подпространством. Через р(Р, х) := тіп ||р — х|| будем обозначать расстояние от точки х до

рЄР

подпространства Р. Пусть линейное многообразие Ь получается из Р сдвигом на некоторый вектор г: Ь = Р + г. Через пь(х) обозначим ортогональную проекцию х Є К” на линейное многообразие Ь:

пь(х) = пр(х) + г . (6)

Алгоритм Є. Пусть задано однозначное М-фейеровское отображение р Є {К” ^ К”}, М - выпукло и замкнуто. Зададим разбиение пространства К” в прямую сумму ортогональных подпространств: К” = Рі ф ... ф Рг, Рг ± Р^- при і = і. Для каждого подпро-

странства Рг (і = 1,..., г) построим линейное многообразие Ьг следующим образом. Пусть хг Є Arg тіп р(Р*,х). Положим гг = (хг) Є Р^. Здесь Р^- обозначает ортогональное

жЄМ і

дополнение к подпространству Рг. Построим линейное многообразие Ьг путем сдвига подпространства Рг на вектор гг:

Ьг = Рг + гг . (7)

Для каждого і Є {1,..., г} определим отображение рг Є {К” ^ Ьг}:

рг(х) = ПЬ;((х))) . (8)

Зафиксируем некоторое натуральное число в и положительное вещественное число є. Положим хо = 0 Є К”. Алгоритм состоит из следующих шагов:

Шаг 0. к : = 0.

Шаг 1. хк+1 := (хк))—£г).

г=14 '

Шаг 2. к := к + 1.

Шаг 3. Если ||х&+і — хк|| > є & ^м(хк+1) > є, перейти на шаг 1.

Шаг 4. Стоп.

Для выхода из итерационного процесса в алгоритме Є на шаге 3 используется критерий завершения, включающий в себя функцию невязки ^м, определяющую степень близости точки х к многограннику М. В качестве такой функции в нашей реализации используется следующая функция

т

^М (х) = ^ тах{(а^-, х) — Ь,-, 0} . і=і

На основе описанного подхода на языке программирования С++ была разработана параллельная программа, решающая задачу сильной отделимости многогранников для произвольных входных данных. Для организации обменов данными между процессами была использована система параллельного программирования МРІ. Исходные тексты программ доступны в Интернет по адресу Ы^р://life.susu.ru/discr/. Проведенные вычислительные эксперименты на высокопроизводительном кластере подтвердили эффективность предложенного подхода [4]. В следующем разделе доказывается теорема, из которой следует устойчивость описанного алгоритма по отношению к динамически меняющимся исходным данным задачи.

3. Теорема об устойчиво фейеровском отображении

Пусть задана система линейных неравенств в пространстве К”:

Ах < Ь. (9)

Пусть у = [А, Ь] - информационный вектор, задающий все параметры системы (9),

у Є К”т+т. Обозначим через Му многогранник решений системы (9), определяемой ин-

формационным вектором у. Имеем Му С К”.

Лемма 1. Пусть у Є Кгат+т - информационный вектор, задающий устойчиво совместную систему [7] неравенств

Ах < Ь. (10)

Тогда существует некоторая окрестность V точки у такая, что любая точка у Є V также определяет устойчиво совместную систему неравенств

Ах < Ь, (11)

где у

А, Ь

Доказательство. Устойчивая совместность системы (10) означает, что существует х € К” такой, что Ах < Ь, или, что тоже самое, Ах — Ь < 0. Поскольку вектор-функция Ах — Ь

А, Ь

некоторой окрестности V точки

непрерывна по у = [А, Ь], то для всех точек у =

у также будет выполняться неравенство Ах — Ь < 0, что равносильно Ах < Ь. А это, в свою очередь, означает, что для всех точек этой окрестности система (11) будет устойчиво совместной, что и требовалось доказать. Лемма доказана. □

Определение 1. Пусть задано отображение р : Кгат+т х К” ^ К” двух аргументов у € крт+т и х € К”. Обозначим через ру отображение из К” в К”, которое получается из р, путем фиксации аргумента у. Отображение р является устойчиво фейеровским относительно точки у € К”т+т, если ру € FМу и существует окрестность V С К”т+т точки у такая, что для любого у € V имеем ру € Ем5 .

Теорема 1. Пусть отображение р : Кгат+т х Кга ^ Кга двух аргументов у € Кгат+т и х € Кга является непрерывным по х и у 1. Пусть система (10), определяемая информационным вектором у, является устойчиво совместной и ру € Гму. Тогда отображение р является устойчиво фейеровским относительно точки у € К”т+т.

Доказательство. Доказательство проведем от противного. Предположим, что для любой окрестности V точки у существует

у € V (12)

такой, что ру / Ему. В соответствии с определением фейеровского отображения это означает, что не выполняется одно из следующих условий:

1) ру(г) = г, Уг € Му;

2) ||ру(х) — г|| < Ух — г||, Уг € Му, Ух / Му.

В силу свойства 39.4 [5] при доказательстве мы можем ограничиться т!Му, представляющим подмножество внутренних точек множества Му. В силу леммы 1 мы можем выбрать

1 Отображение р(у,х) непрерывно по х в точке х, если при фиксированном у для любого е > 0 существует 5 > 0 такое, что отображение р определено в 5-окрестности точки х и ||х — х|| < 5 =^ ||р(у,х) — р(у, х)|| < е. Непрерывность по у определяется аналогичным образом.

окрестность V таким образом, чтобы для всех у € V получалась устойчиво совместная система, то есть intMy = 0.

Предположим сначала, что не выполняется условие 1). Это означает, что существует точка V € intMy такая, что

) = z . (13)

Так как V является внутренней точкой многогранника My, то AV — b < 0. Поскольку вектор-функция AV — b непрерывна относительно y = [A, b], то существует окрестность V точки у такая, что для любой точки у'€ V имеем Az — b'< 0. Выберем окрестность V таким образом, чтобы выполнялось вложение V С V. Тогда получается, что V также является внутренней точкой многогранника My. Поскольку по условию теоремы ру € Fms, отсюда следует, что

Py(V ) = V (14)

Так как отображение р является непрерывным по у, то из (13) следует, что существует окрестность V' точки y такая, что для любой точки у € V' имеем py'(V) = V . Выберем

окрестность V таким образом, чтобы выполнялось вложение V С V' Тогда получается,

что у € V' откуда следует Py(V) = V . Получили противоречие с (14). Таким образом, мы доказали, что условие 1) выполняется.

Теперь предположим, что не выполняется условие 2). Это означает, что существует точка V € intMy и точка Х / My такие, что

IIPy(x) — V|| > ||Х — V || . (15)

Так как z является внутренней точкой многогранника Myy, то A z — b < 0. Поскольку вектор-функция AV — b непрерывна относительно у = [A, b], то существует окрестность V

точки y такая, что для любой точки y' V имеем A'z — b' < 0. Выберем окрестность V таким

образом, чтобы выполнялось вложение V С V . Тогда получается, что z является внутренней точкой многогранника My. Поскольку по условию теоремы ру € Fms, отсюда следует, что

||ру(Х) — V|| < ||Х — V|| . (16)

Так как отображение р является непрерывным по у, то из (16) следует, что существует окрестность V точки у такая, что для любой точки у' € V имеем ||ру(Х) — V|| < ||Х — V||. Выберем окрестность V таким образом, чтобы выполнялось вложение V С V. Тогда в силу (12) имеем у € у, откуда следует ||рy(Х) — V|| < ||Х — V ||. Получили противоречие с (15). Таким образом, мы доказали, что условие 2) выполняется. Теорема доказана. □

В заключение осталось заметить, что фейеровское отображение (5), в соответствии с доказанной теоремой, является устойчиво фейеровским, что обеспечивает устойчивость предложенного алгоритма.

Работа выполнена при поддержке гранта РФФИ № 12-01-00452а.

Литература

1. Еремин, И.И. Фейеровские методы сильной отделимости выпуклых полиэдральных множеств / И.И. Еремин // Известия вузов. Сер. Математика. - 2006. - № 12. - C. 33 - 43.

2. Boser, B. A training algorithm for optimal margin classifiers / B. Boser, I. Guyon, V. Vapnik // Proc. of the 5th Annual ACM Workshop on Computational Learning Theory. Pittsburgh: ACM Press, 1992. - P. 144 - 152.

3. Еремин, И.И. Нестационарные процессы математического программирования / И.И. Еремин, В.Д. Мазуров. - М.: Наука, 1979. - 288 с.

4. Ершова, А.В. Параллельный алгоритм решения задачи сильной отделимости на основе фейеровских отображений / А.В. Ершова, И.М. Соколинская // Вычислительные методы и программирование. - 2011. - Т. 12, № 2. - С. 53 - 56.

5. Еремин, И.И. Теория линейной оптимизации / И.И. Еремин. - Екатеринбург: «Екатеринбургу 1999. - 312 с.

6. Ершова, А.В. Алгоритм разделения двух выпуклых непересекающихся многогранников с использованием фейеровских отображений / А.В. Ершова // Системы управления и информационные технологии. - 2009. - № 1(35). - С. 53 - 56.

7. Черников, С.Н. Линейные неравенства / С.Н. Черников. - М.: Наука, 1968. - 488 с.

Арина Владимировна Ершова, аспирант, кафедра дифференциальных уравнений и динамических систем, Южно-Уральский государственный университет (г. Челябинск, Российская Федерация), ershovaav@gmail.com.

Ирина Михайловна Соколинская, кандидат физико-математических наук, доцент, кафедра дифференциальных уравнений и динамических систем, Южно-Уральский государственный университет (г. Челябинск, Российская Федерация), irinasokolinsky@gmail.com.

MSC 68T10

Research Stability of Parallel Algorithm for Solving Strong Separability Problem Based on Fejer Mappings

A.V. Ershova, South Ural State University (Chelyabinsk, Russian Federation),

I.M. Sokolinskaya, South Ural State University (Chelyabinsk, Russian Federation)

The problem of strong separating has an important role in the pattern recognition theory. The problem of strong separating means separating two convex non-intersected polyhedrons by the layer of maximum thickness. In this article, the non-stationary problems of strong separating are considered. Non-stationary problem is a problem for which the input data have been changed during the calculation process. An algorithm solving the non-stationary problem of strong separating must have two properties: auto-correcting and stability. Auto-correcting means the algorithm can continue its work effectively after the input data have been changed. Stability implies a small input data change implies a small deviation of the result. The auto-correcting is the feature of iterative algorithm based on Fejer processes. In the paper, the parallel algorithm based on Fejer mappings is described. This algorithm admits an effective implementation for the massively parallel multiprocessor systems. The notion of stable Fejer mapping is introduced. The theorem about stable Fejer mapping is proved.

Keywords: Fejer mapping, problem of strong separating, iterative method,

pseudoprojection of point, stable Fejer mapping.

References

1. Eremin I.I. Feyerovskie metody sil’noy otdelimosti vypuklykh poliedral’nykh mnozhestv [Fejer Methods for the Strong Separability of Convex Polyhedral Sets]. Russian Mathematics, 2006, no. 12, pp. 33 - 43.

2. Boser B., Guyon I., Vapnik V. A Training Algorithm for Optimal Margin Classifiers. Proc. of the 5th Annual ACM Workshop on Computational Learning Theory. Pittsburgh, ACM Press, 1992, pp.144 - 152.

3. Eremin I.I. Nestatsionarnye protsessy matematicheskogo programmirovaniya [Nonstationary Processes of Mathematical Programming]. Moscow, Nauka, 1979. 288 p.

4. Ershova A.V., Sokolinskaya I.M. Parallel’nyi algoritm resheniya zadachi sil’noy otdelimosti na osnove feyerovskikh otobrazheniy [Parallel Algorithm for Solving Strong Separability Problem Based on Fejer Mappings]. Vychislitel’nye metody i programmirovanie [Numerical Methods and Programming], 2011, vol. 12, no. 2, pp. 53 - 56.

5. Eremin I.I. Teoriya lineynoy optimizatsii [Theory of linear optimization]. Ekaterinburg, «Ekaterinburg>, 1999. 312 p.

6. Ershova A.V. Algoritm razdeleniya dvukh vypuklykh neperesekayushchikhsya mnogogrannikov s ispolzovaniem feyerovskikh otobrazheniy [The Algorithm of Separation of Two Convex not Intersect Polyhedral Using Fejer Mappings]. Sistemy upravleniya i informatsionnye tekhnologii [Controlling System and Information Technology], 2009, no. 1(35), pp. 53 - 56.

7. Chernikov S.N. Lineynye neravenstva [Linear inequalities]. Moscow, Nauka, 1968. 488 p.

Поступила в редакцию 7 февраля 2012 г.