CC BY
7РАДИОТЕХНИКА, СИСТЕМЫ ТЕЛЕКОММУНИКАЦИЙ, АНТЕННЫ И УСТРОЙСТВА СВЧ
УДК 004.722.25
12 3
С.А Анисимов , В.А. Зыбин , В.В. Крылов
ПРОТОКОЛ ПОИСКА РЕСУРСОВ В ДЕЦЕНТРАЛИЗОВАННЫХ ГРИДАХ, ОБЛАДАЮЩИХ СВОЙСТВАМИ ТЕСНОГО МИРА
ООО «Теком»1, Intel 2, «Мера Лабс»3
Рассмотрен способ построения децентрализованных гридов с помощью фракталов с ограниченной степенью вершин. Показано, что данная топология проявляет свойства тесного мира. Предложен протокол поиска ресурсов в децентрализованном гриде.
Ключевые слова: протокол, сеть тесного мира, децентрализованный грид, поиск, ресурсы.
Введение
В настоящее время перед учеными возникают сложные задачи, для решения которых недостаточно одного компьютера, кластера или даже специализированного суперкомпьютера. Таким образом, достижение определенных научных целей с помощью современных компьютерных технологий становится чрезвычайно сложной, очень дорогой, а иногда совершенно невыполнимой задачей. Примеры наиболее типичных задач:
необходим анализ огромного массива данных, части которого находятся в разных точках земного шара;
• требуется выполнить огромное количество вычислений.
Для решения данных задач в настоящий момент используется технология грид - аппаратно-программная инфраструктура, обеспечивающая надежный, устойчивый, повсеместный и недорогой доступ к высокопроизводительным компьютерным ресурсам, их скоординированное разделение и решение задач в динамически меняющихся виртуальных организациях со многими участниками [5-7]. Данное определение подразумевает, что грид - есть средство для совместного использования вычислительных мощностей и хранилищ данных. Изначально гриды предназначались для решения сложных научных1, производственных и инженерных задач, которые невозможно решить в разумные сроки на отдельных вычислительных установках. Однако в настоящее время область применения технологий грид не ограничивается только научно-инженерными задачами. Область применения гридов [5, 6, 11]:
• распределенные вычисления - происходит объединение компьютерных ресурсов отдельных производств, компаний или научных организаций. Полученная в результате сеть компьютеров используется как единый ресурс;
• метакомпъютинг - особый тип распределенных вычислений, подразумевающих соединение суперкомпьютерных центров высокоскоростными сетями;
• кластерные вычисления - объединение нескольких персональных компьютеров в единый кластер;
© Анисимов С.А., Зыбин В.А., Крылов В.В., 2010.
• технология Peer to Peer - объединение распределенных персональных компьютеров в единую сеть, которая с помощью специального программного обеспечения позволяет обмениваться данными, в том числе и без участия центрального сервера;
• распределенные вычисления с помощью сети Интернет - создание виртуального суперкомпьютера, который состоит из десятков тысяч персональных компьютеров. Персональные компьютеры (узлы грида) работают одновременно над разными частями задачи, получая данные от центрального компьютера через Интернет. Далее результаты пересылаются центральной системе для заключительной обработки.
В область интересов авторов входят только промышленные гриды, которые предъявляют высокие требования к надежности каналов связи между узлами сети, скорости обмена информацией, к мощности и количеству узлов грида. Классическим примером промышленного грида является Grid2003 - крупнейший в мире, объединяющий ряд мощных вычислительных центров и функционирующий в непрерывном режиме.
Гриды несколько упрощенно можно представить следующим образом: существует множество узлов сети, каждый из которых характеризуется количеством и типом процессоров, объемом оперативной и физической памяти, состоянием и рядом других параметров. Кроме этого, существует корневой сервер, в котором содержится список узлов сети и их состояние. Соответственно при постановке в очередь задачи и запросе необходимого количества процессоров, оперативной памяти одним из узлов грида происходит обращение к корневому серверу и поиск по каталогу ресурсов, удовлетворяющих запросу. В настоящее время во всех гридах существует централизованный каталог ресурсов. Недостатки построения грида:
• в случае выхода из строя корневого сервера весь грид оказывается неработоспособным;
• наличие устаревшей информации о состоянии узлов либо парализация корневого сервера грида частыми запросами.
Нетрудно заметить, что данный грид имеет топологию "звезда", представленную на рис. 1. Возможно построение грида без централизованного каталога ресурсов (рис. 2).
Для построения грида без использования корневого сервера необходимо, чтобы выполнялись следующие условия:
• количество соединительных линий узла не превышает максимального значения;
• усредненная длина пути между узлами грида минимальна;
• количество соединительных линий грида минимально.
Первое требование введено для исключения парализации одного из узлов грида частыми запросами, а остальные присутствуют для того, чтобы реализовать эффективный алгоритм поиска. Цель данной работы - разработать протокол поиска ресурсов в децентрализованном гриде с оптимальной топологией, которая удовлетворяет показанным выше условиям.
Рис. 1. Топология грида с централизованным каталогом ресурсов
Рис. 2. Пример децентрализованного грида
Оптимальная топология и эффективный алгоритм поиска ресурсов
Модели сложных сетей принято представлять в виде связных графов А-{ V, Т }, где V-набор узлов сети; Т - набор соединительных линий, представляющий [2 х V] матрицу переходов. Средняя длина пути между всевозможными парами вершин графа напрямую зависит от выбранной топологии - отображения набора связей на множество узлов. Эффективность алгоритма поиска ресурсов зависит от выбранной топологии. В нашей задаче мы можем пренебречь временем, которое затрачено на транспортировку запросов по соединительным линиям из-за требований, предъявляемых к скорости передачи информации в промышленных гридах. Следовательно, время поиска ресурсов будет зависеть от времени обработки запроса узлом сети, от радиуса грида и от количества соединительных линий каждого узла. В некоторых случаях, при правильно выбранной топологии, в сетях проявляется эффект тесного мира [9, 10], означающий небольшое значение средней длины пути, несмотря на значительные размеры числа узлов в сети. Данный эффект обусловливается логарифмической зависимостью средней дистанции относительно общего числа элементов l ~ ln(N), где N -число узлов в сети. Таким образом, в оптимальной топологии грида возможно реализовать эффективные алгоритмы поиска, которые позволяют набрать ресурсы за lmax шагов, где lmax - есть диаметр грида. В работах [1-4, 8, 10] показано, что оптимальной топологией графа, которая удовлетворяет следующим условиям:
• кратчайшая средняя длина минимальна;
• число связей минимально;
• степень вершины графа не превышает максимальное значение.
является фрактал с ограниченной степенью вершин Limited Degree Fractal (LDF), топология которого представлена ниже [2, 10]:
Рис. 3 Уровни LDF сети. Ступенчатое (слева) и круговое (справа) представление
Основные соотношения для ЦЭБ сети приведены ниже: • число связей N -1;
мю.
средняя длина пути 1 = 2-
ln d
распределение степеней вершин
коэффициент кластеризации С =
1 , вершин имеют степень d
i 1 Г
4-— вершин имеют степень 1
2
d(d-l)
Необходимо заметить, что в LDF сети наблюдается эффект тесного мира [9, 10].
Рис. 4. Зависимость средней длины пути от числа узлов грида при d —10
Далее будет рассмотрена методика роста LDF сети и предложен протокол поиска ресурсов с подавлением "шторма" в сети.
Протокол поиска ресурсов
Алгоритм роста ЦЭБ сети имеет следующий вид:
• сеть в начальный момент времени состоит из одного центрального узла;
• в каждый момент времени t в существующую сеть добавляется новый элемент и связывается с одним уже существующим элементом сети, причем выбор узла, с которым новый элемент будет соединен, зависит от заполнения уровня;
• к каждому узлу может присоединиться не более с! элементов.
Далее показано, что LDF сеть с максимальной степенью вершины, равной пяти в начальный момент времени, состоит из узла 1. В следующий момент происходит добавление узла 2 и присоединение его к 1. При добавлении происходит заполнение таблиц как присоединяемого, так и исходного узлов LDF сети, в которых содержится список соседних узлов грида и количество их ресурсов. Аналогичным образом происходит добавление в следующие моменты времени узлов 3, 4, 5:
Рис. 5. Алгоритм заполнения первого уровня LDF сети
При добавлении следующего узла, происходит заполнение следующего уровня. Ниже показана LDF сеть, после добавления узлов 7, 8, 9, 10, 11:
Рис. 6. Алгоритм заполнения второго уровня LDF сети
Дальнейший рост грида предельно понятен. Для конструирования протокола поиска ресурсов необходимо принять следующие допущения:
• грид построен, а все его узлы свободны;
• любой узел грида имеет информацию только о ресурсах соседних узлов;
• если узел имеет только одного "соседа", то при запросе ресурсов у данного узла, последний передает эту информацию инициатору запроса;
• узел грида имеет возможность полностью захватить ресурсы любого узла;
• все узлы грида имеют одинаковое количество ресурсов Ох =02 = ...=0 .
Последнее и первое допущения приняты для большей наглядности. Работа протокола
не зависит от количества ресурсов того или иного узла. Нетрудно заметить, что протокол должен иметь обратную связь для того, чтобы предотвратить возникновение "шторма" в сети. Классические методы подавления "шторма" не работают из-за того, что в отличие от локальных сетей грид не разделяется на отдельные сегменты с помощью служебных устройств, благодаря которым запрос на получение ресурсов узел может послать только одному сегменту сети. На рис. 7 представлен грид, на основе которого будет рассмотрен протокол поиска ресурсов.
Рис. 7. Грид с оптимальной топологией
При запросе ресурсов любой узел передает три поля:
• идентификатор узла, который захватывает ресурсы;
• количество ресурсов, которое необходимо захватить;
• служебные отметки, если узел, инициирующий запрос, имеет ровно одного "соседа".
После обработки запроса адресатом, последний генерирует ответ, в котором содержится таблица, состоящая из трех столбцов:
• маршрут до узла, у которого были захвачены ресурсы;
• количество захваченных ресурсов;
• служебные отметки, в случае, если данный узел имеет только одного соседа.
Пусть узлу 1 необходимо захватить q < О ресурсов. 1 генерирует запрос, в котором передается следующая информация: (1 q last). Узел 4 после обработки запроса резервирует q ресурсов и генерирует ответ: (1-2 q -). Очевидно, что необходимо предусмотреть механизм отказа от резервирования ресурсов, в случае, если зарезервировано будет больше, чем необходимо инициатору. Рассмотрим случай, когда узлу 1 необходимо захватить q = 30 ресурсов. На рис. 8 показана диаграмма последовательности запросов.
Рис. 8. Диаграмма последовательности запросов
Узел 1 генерирует запрос, в котором передается следующая информация: (1 3Q last). 4 после обработки данного запроса резервирует О ресурсов, но ответ не будет сгенерирован, поскольку 1 имеет только одного "соседа" и ресурсы в количестве q = 30 захвачены не были. Если же хотя бы одно из двух условий не выполняется, то тогда будет сгенерирован ответ инициатору запроса. 4 генерирует запросы, которые рассылаются узлам 2, 3, 5. Данные запросы идентичны друг другу: (4 20 -). В свою очередь 2, 3, 5 присылают следующие ответы соответственно: (4-2 О last), (4-3 О last), (4-5 О -). Нетрудно заметить, что узлом 4 было захвачено 30 ресурсов, а требовалось лишь 2 • О. Далее 4 генерирует запрос, в котором отказывается от резервирования части ресурсов q = 30-20 = 0. Отправка осуществляется первому соседу в таблице узла 4. Данная таблица строится при построении грида так, как показано на рис. 7, 8. Отсюда следует, что 4 отправляет запрос, где отказывается от резервирования ресурсов узлу 5. Запрос имеет вид: (4 -О -). Узел 5 присылает ответ на данный запрос: (4-5 -О -). После получения данного ответа, 4 генерирует ответ инициатору захвата ресурсов в виде таблицы.
1-4 Q -
1-4-2 Q last
1-4-3 Q last
Заключение
Был рассмотрен способ построения децентрализованных гридов с регулярной древовидной фрактальной структурой. Показано, что данная топология обладает свойством тесного мира. Предложен протокол поиска ресурсов в гриде без использования каталога ресурсов
Библиографический список
1. Aiello, W. A random graph model for massive graphs / W. Aiello, F. R. K. Chung, L.Lu // ACM Symposium on Theory of Computing (STOC). 2000. P. 171-180.
2. Albert, R. Statistical mechanics of complex networks / R. Albert, A.-L. Barabasi // Rev. Modern Phys. 2002. №74. P. 47-97.
3. Barabasi, A.-L. Emergence of scaling in random networks / A.-L. Barabasi, R. Albert // Science. 1999. №286. P. 509-512.
4. Erdos, P. The evolution of random graphs / P. Erdos, A. Renyi // Publications of the Mathematical Institute of the Hungarian Academy of Sciences. 1960. №5. P. 17-61.
5. Foster, I. What is the grid? A three point checklist // Argonne National Laboratory & University of Chicago. 2002.
6. Foster, I. The Grid: Blueprint for a New Computing Infrastructure (2nd Edition) / I. Foster, C. Kes-selman // San Mateo, CA: Morgan Kaufmann. 2004.
7. Foster, I. The Anatomy of the Grid: Enabling Scalable Virtual Organizations / I. Foster, C. Kessel-man, S. Tuecke // Inter. J. of High Performance Computing Applications. 2001. № 15. P. 200-222.
8. Fronczak, A. Average path length in random networks / A. Fronczak, P. Fronczak, J.-A. Holyst // Physical Review E 70. 2004.
9. Watts, D. Collective dynamics of small-world networks / D. Watts, S. Strogatz // Nature. 1998. №363. P. 202-204.
10. Жаринов, И.В. Конструирование графов с минимальной средней длиной пути / И.В. Жари-нов, В В. Крылов // Вестник ИжГТУ. 2008. №4.
11. Родин, А.В. Классификации распределенных систем / А.В. Родин, В.Л. Бурцев // Научная сессия МИФИ. 2006.
Дата поступления в редакцию 02.02.2010
S.A. Anisimov, V.A. Zybin, V.V. Krylov
RESOURCES RETRIEVAL PROTOCOL IN DECENTRALIZED GRIDS, WHICH HAVE
SMALL WORLD CHARACTERISTICS
In this article the construction method of decentralized grids was examined using fractals with limited degree vertex. It was shown, this topology displayed small world characteristics. Resources retrieval protocol in decentralized grids was suggested.
Key words: protocol, small world network, decentralized grid, search, resources
