Модель процессов организации обработки оперативной информации распределенными вычислительными комплексами специального назначения Текст научной статьи по специальности «Компьютерные и информационные науки»

МОДЕЛЬ ПРОЦЕССОВ ОРГАНИЗАЦИИ ОБРАБОТКИ ОПЕРАТИВНОЙ ИНФОРМАЦИИ РАСПРЕДЕЛЕННЫМИ ВЫЧИСЛИТЕЛЬНЫМИ КОМПЛЕКСАМИ СПЕЦИАЛЬНОГО НАЗНАЧЕНИЯ

Показано, что в условиях повышенных требований к эффективности вычислительных систем (ВС), используемым при построении автоматизированных систем специального назначения (АС СН), особую актуальность приобретают вопросы повышения их производительности. ВС имеют сложную, многоуровневую архитектуру, в результате возникает необходимость учёта длительности информационного обмена между компонентами ВС. Однако, используемый при моделировании процесса обработки информации научно-методический аппарат не в полной мере учитывает данную особенность. Таким образом, имеют место противоречия, заключающиеся в необходимости разработки программного обеспечения для современных ВС и отсутствием необходимого научно-методического аппарата организации параллельных вычислений на ВС с иерархической архитектурой. В качестве основного показателя эффективности АС СН выбрано количество обработанных заявок в единицу времени, а основным показателем, характеризующим ВС является длительность выполнения программы, реализующей алгоритм обработки информации. Уменьшение значений данного показателя предполагается за счёт рационального распределения операций между вычислительными модулями и узлами.

Рассмотрены несколько моделей, используемых для расчёта длительности выполнения программ, в основе которых лежит модель функционирования ВС в асинхронном режиме, в которой все операции выполняются при поступлении значений необходимых переменных. Особенностью данных систем является наличие на вычислительных узлах справочника используемых программой переменных, соответственно, при значительном объёме информации, хранящейся в нём, возникает необходимость учёта длительности поиска значений переменных. Также при построении модели учитывалась задержка, возникающая при информационном обмене через коммуникационную среду между вычислительными узлами. Для расчёта длительности данной задержки коммутатор сети представлен в виде многоканальной системы массового обслуживания с ограниченной очередью и неоднородным потоком поступающих заявок, а также бесприоритетной дисциплиной обслуживания.

Определены возможные пути сокращения длительности выполнения параллельной программы, основным из которых является совершенствование коммуникационного оборудования, используемого для организации коммуникационной среды ВС. Другим направлением является использование алгоритмов рационального распределения операций между вычислительными узлами и модулями с целью предотвращения излишних обращений вычислительных модулей к коммуникационной среде для информационного обмена.

Нестеренко Олег Евгеневич,

адъюнкт кафедры АСУ ВКА им. А.Ф. Можайского, г. Санкт-Петербург, Россия, konferencia_asu_vka@mail.ru

Ключевые слова: вычислительная система, вычислительный комплекс, NUMA, параллельная программа, длительность информационного обмена.

Для цитирования:

Нестеренко О.Е. Модель процессов организации обработки оперативной информации распределенными вычислительными комплексами специального назначения // T-Comm: Телекоммуникации и транспорт. 2016. Том 10. №12. С. 48-54.

For citation:

Nesterenko O.E. The process model of the processing organization of operational information by distributed computer systems for special purpose. T-Comm. 2016. Vol. 10. No.12, pр. 48-54. (in Russian)

Введение

Рост масштабов и сложности решаемых задач вычислительными системами (ВС) специального назначения, в условиях повышенных требований со стороны системы управления к эффективности их функционирования, обуславливает при выполнении целевых задач необходимость поиска путей повышения показателей производительности.

В то же время, программное обеспечение (ПО), которое должно учитывать особенности построения и возможности ВС и реализующее алгоритмы обработки информации в автоматизированных системах специального назначения (АС СН), разрабатывается со значительным отставанием. В результате, имеет место несоответствие ПО, разработанного для устаревших ВС, при использовании на современных образцах, а имеющийся вычислительный ресурс расходуется крайне неэффективно.

Для современных ВС, используемых при построении АС СН, характерна многоуровневая архитектура, особенностью которой являются значительные временные задержки при информационном обмене между вычислительными узлами [1*3]. Данная особенность обуславливает сложности при разработке ПО для этих ВС.

Таким образом, имеют место противоречия в практике, заключающееся в необходимости разработки ПО для современных ВС с одной стороны и отсутствием ПО организации параллельных вычислений, обусловленной особенностями многоуровневой архитектуры построения вычислительных систем с другой.

Постановка задачи

сти выполнения программы, реализующей алгоритм вычислительной задачи обработки информации, имеет особую актуальность, так как позволяет уже на этапе разработки программного обеспечения определить возможный выигрыш в количестве обработанных заявок в единицу времени.

Проведённый анализ показал, что иепользусмыс для построения исследуемой АС СН вычислительные системы имеют иерархическую (NUMA «Non-Uniform Memory Access») архитектуру, с обеспечением когерентности кэшпамяти (cache coherent) на основе так называемого справочника переменных (рис. 1).

К исследуемой АС СН предъявляются повышенные требования, со стороны системы управления по эффективности функционирования в режиме реального времени. Показателем, определяющим выполнение данного требования, является вероятность Pg превышения времени обработки поступающей информации [5].

Определим абстрактную вычислительную систему S: ЩЩрС&е), tj^t^d) (2)

где п - количество вычислительных узлов, объединённых коммуникационной средой К (первый уровень); т - количество вычислительных модулей, входящих в состав вычислительного узла, объединённых общей шиной (второй уровень); q - объём буфера коммутатора сети; с - пропускная способность комму татора; tfai.h - длительность выборки значений из оперативного запоминающего устройства (ОЗУ) вычислительного модуля; 1ГЩ - длительность формирования запроса на получение значений переменных из общей памяти вычислительного модуля (ВМ); а — длительность никла сравнения значений переменных.

Одним из основных показателей эффективности функционирования АС СН является количество обработанных заявок в единицу времени. Очевидно, что данный показатель находится в прямой зависимости от показателя производительности вычислительных средств, обрабатывающих поступающие заявки.

Наиболее часто в современной литературе для оценивания производительности ВС используется её пиковая производительность [1,3], которая в наиболее простом виде определяется в условиях максимально-возможной загрузки узлов и отсутствия простоев в работе. Частными же показателями, в таком случае, являются количество выполняемых операций с плавающей и фиксированной точкой в секунду. Однако, на практике, при реализации конкретных параллельных программ на данных системах, фактическая производительность колеблется от 2% до 90% от пиковой [ 1,4].

Если принять предположение о том, что на обработку одной единицы информации используется п циклов некоторой программы обработки X, то можно сделать вывод о том, что количество обработанных заявок в единицу времени С зависит от длительности выполнения Тя программы, реализующей алгоритм обработки и количества циклов его выполнения, т.е.:

С = /{п,Х(Т№)) (1)

Под длительностью выполнения программы будем понимать время, затрачиваемое ею на обработку информации с момента поступления её на вход до получение всех выходных данных. Таким образом, задача определения длительно-

Коммутатор

7Ш

_L

I

Вычислительный узел п

Вычислительный узел 2

и.

Вычислительный узел 1

Сетевой интерфейс

Вычислительный модуль 1

вычислительный модуль 2

Вычислительный модуль гп

iE.

Общая шина

ЦПУ

-Ж-,

ОЗУ

1£

ЦПУ

озу

• • •

• • •

ЦПУ

-Ж-

озу

Справочник переменных

Общая память ВМ 1

_ L _

Рис. I. Структура NUMA-системы, используемой для построения АС СН

У

Информационная структура программы, реализующей алгоритм обработки, задан в форме параллельно-ярусной форме, как ациклический, направленный мулыиграф:

{3)

V = ей- множество характеристик опера-

ций, выполняемых в алгоритме, причём каждой операции у, ставится в соответствие длительность её выполнения / и номер яруса А., на котором она находится, т.е.:

(4)

и = - множество характеристик ин-

формационных обменов между операциями, причём каждому информационному обмену и, ставится в соответствие

объём передаваемых данных к.. т.е.:

(5)

г — количество значении переменных в справочнике переменных, используемых программой; ц - размер запроса на получение значения переменной из общей памяти ВМ; Л - интенсивность потока входящей для обработки информации.

Необходимо определить длительность выполнения Г5 программы С на вычислительной системе 5 с учётом длительности информационного обмена между вычислительными узлами, а также вероятность потери информации при её обслуживании.

Основная часть

В наиболее простых моделях длительность выполнения программы определяется длительностью ¡, операций входящих в неё, т.е.:

Г," Ъ»

(6)

ы о

где п - количество операций в множестве У;

Однако, на практике она зависит от множества факторов, таких как:

- технические возможности ВС (количество вычислительных устройств и их производительность, объём ОЗУ, дискового пространства и др.);

- архитектурные особенности ВС (гомогенная либо гетерогенная система, иерархическая или одноуровневая);

- возможности коммуникационной среды ВС (пропускная способность, топология, средняя задержка прохождения информации);

- особенности структуры программы (последовательная или параллельная, глубина и ширина алгоритма, реализованного в программе, а также длина максимального пути).

К тому же, (6) справедливо только для программ, реализующихся на ВС с одним элементарным вычислительным устройством (ЭВУ). Тем не менее, для программ, реализуемых на параллельных ВС с множеством ЭВУ, длительность их выполнения определяется длительностью операций максимального пути графа и информационных обменов между ними.

т. -

(7)

1=0

>0

где, р - глубина ярусной формы графа информационной структуры программы, или же р — тах{Й(}» /. - длительность операций, формирующих максимальный путь графа; I. - длительность информационных обменов между операциями, формирующими максимальный путь.

Отношение (7) свойственно для вычислительных систем, функционирующих в синхронном режиме, т.е. операции находящиеся, па более низком ярусе графа не начинают исполняться, пока не закончат выполняться операции высокого уровня. Однако, современные ВС функционируют в асинхронном режиме, т.е. операции начинают выполняться по мере поступления всех необходимых входных данных. На рис. 2 представлен сетевой график исполнения ветвей параллельной программы на вычислительных модулях.

№ ВМ

иг

лж:

—I 1 |

хк:

№

-н

-г-

4-

,_. 15 10 (

| ■п. | - вылопнение операции на вычислительной модуле

| ц. |. запрос на получение значений входных переменных

[ г, . запись значений выходных переменны*

Рис. 2. Сетевой график функционирования ВС в асинхронном режиме

В данном случае длительность выполнения программы, реализующей алгоритм вычислительной задачи определяется временем окончания /-ой операции на некотором вычислительном модуле и равна сумме длительностей всех операций выполняемых на ВМ, запросов на получение входных переменных, записи значений выходных переменных и простоем выполнения, т.е.:

£

_ \у ^ ^ ^ гргеас! у >«т/7е ^ г^ИаЬ ^

(8)

/=и

где, р - количество операций выполняемых на ВМ; I/ - длительность операции на вычислительном модуле; 7"*^ - длительность получения значений входных переменных перед выполнением операции; - запись значений выходных переменных после выполнения операции; Х'ш" - простой после выполнения операций.

Длительность операций {¡, выполняемых программой, является случайной величиной характеризуемой математическим ожиданием и дисперсией, т.е. / = М[Т\ + 0[Т]- Любые современные ВС функционируют в мультипрограммном режиме, вследствие чего, можно сделать вывод, что дисперсия длительности выполнения операций определяется приоритетом выполняемой программы. Если принять допущение, что исследуемая программа, реализующая алгоритм вычислительной задачи, исполняется в высокоприоритетном режиме, то дисперсия приобретает незначительные значения и в качестве длительности выполнения операций можно принять их средние значения.

T-Comm ^м 10. #1 2-2016

Простой вычислительных модулей между выполнением операций является неизбежным явлением при исполнении программ на любых вычислительных системах. Многие исследователи в области вычислительной техники принимают суммарную длительность простоя ЭВУ как основной показатель эффективности программного обеспечения. В нашем случае длительность простоя Т,''"'' будет зависеть от используемого аппарата адаптации алгоритмов вычислительных задач.

Для получения значений входных переменных вычислительные модули выполняют следующие действия:

1. Производится поиск и выборка записи о месте хранения значения переменной,

2. Если значение переменной хранится на том же вычислительном узле, то:

- значение переменной напрямую выбирается из обшей памяти вычислительного узла через общую шину;

- вычислительный модуль получив значение переменной начинает выполнение операции либо ожидает получения остальных переменных, необходимых для её выполнения;

3. Если значение переменной хранится на другом вычислительном узле, то:

- вычислительный модуль формирует запрос на выборку значения переменной из общей памяти другого вычислительного узла и отправляет его через коммуникационную среду;

- вычислительный узел получив запрос производит выборку значения переменной и передаёт его ВУ запросившего переменную.

- вычислительный модуль получив значение переменной начинает выполнение операции либо ожидает получения остальных переменных, необходимых для её выполнения.

Процесс получения значений переменных в ссЫиМА-системе в форме блок-схемы представлен на рис, 3.

Рис. 3. Блок-схема процесса получения необходимых значении переменных

Из данной блок-схемы видно, что длительность процесса получения необходимых переменных f™ail определяется

операциями 1-6, т.е.:

ТГ'=ts+tfeich+^(.treq+tsend+trec) W

Для определения длительности поиска записи о переменной в справочнике ts необходимо определить его структуру, т.е. является ли он индексированным. Соответственно, для индексированных структур применяется логарифмический поиск, а для неиндексированных - последовательный. Преимуществом использования индексированных структур является высокая скорость поиска данных. Однако на под/держание данной структуры необходимо затрачивать вычислительный ресурс, что является очевидным недостатком использования данных структур. Тем не менее, ввиду того, что справочник формируется на этапе разработки ПО, то затраты на его поддержание в процессе эксплуатации минимизируются. В связи с чем, используется именно индексированный справочник.

Суть алгоритма поиска в индексированном справочнике заключается в следующем: поиск начинается со среднего элемента списка значений. При сравнении нелевого значения со средним элементом списка возможен один из трех результатов: значения равны, целевое значение меньше элемента списка, либо целевое значение больше элемента списка. В первом, и наилучшем, случае поиск завершен. В остальных двух случаях половина списка отбрасывается. Т.е. при каждом сравнении область поиска сокращается наполовину.

В наихудшем случае длительность поиска ts в сортированном списке равна ¿(]og2{«+l)), где и - количество элементов в справочнике, а - средняя длительность цикла операций сравнения значений [6]. Однако, максимальные значения величин используются в основном для оценивания предельных возможностей исследуемых систем. Так как целью моделирования не является получение значения максимальной длительности выполнения программы, то для оценивания длительности поиска данных в справочнике используем его среднее значение, которое определяется выражением:

Ts = «(logiiV+ 1)-1) 00)

Длительность операций 4 и 6 носят стохастический характер, однако при получения достаточно крупного массива статистических данных выясняется, что значения длительности выборки значений ( ^ из оперативной памяти отклоняются от среднего значения незначительно, причём на всём интервале функционирования данное значение принимается как постоянная, т.е. f / = const-

Дзя формирования запроса на получение значения необходимой переменной выполняется некоторая последовательность операций. Как отмечалось ранее за длительность выполнения операций принимается среднее время их выполнения, то можно сделать вывод, что также j = const ■

Запросы между вычислительными узлами осуществляются через коммуникационную среду K(q,c), основой построения которой является узловой коммутатор. Причём, величины / и t будут находится в зависимости от вре-

send гес

мени обслуживания заявок в коммутаторе.

T-Comm Vol. 10. #12-2016

Для определения среднего времени нахождения заявок в коммутаторе представим его как систему массового обслуживания с числом приборов обслуживания равном количеству его исходящих портов g, причём g = /?, а размер очереди заявок равен q. Т.е. система является многоканальной с очередью фиксированной длины[7,10].

Так как объёмы передаваемой между вычислительными модулями информации различны, то формируемый поток заявок X является неоднородным, причём количество классов заявок I соответствует количеству уникальных значений Е объёмов передаваемой информации и объёма заявки соответствующей операции 5. Коммутатор функционирует в бесприоритетном режиме. Дтя таких систем необходимо рассчитывать основные характеристики для каждого класса заявок з , причём основной характеристикой описывающей

эффективность функционирования системы, рассматриваются средние времена ожидания заявок разных классов, на основе которых легко могут быть рассчитаны все остальные характеристики с использованием фундаментальных зависимостей, представленных в [8,9].

Длительность обслуживания заявок каждого класса

с

И соответственно интенсивность обслуживания

т, к.

Граф переходов состояний для данной СМО представлен на рис. 4,

2;/

nfi (« + !);/ (м + 2 )/i (n+q)(i

Рис.4. Граф состояний коммутатора

Для описания динамики состояния коммутатора сети, как системы массового обслуживания, с неоднородным потоком заявок, необходимо составить систему дифференциальных уравнений вида (11) для каждого потока поступающих заявок Д.,

а!Р т <№

at dP dt

(П)

dP„

n+q _

dt

р + р + + р =1

Для данной системы суммарное время нахождения и заявки 1-го класса в системе:

(12)

Причём среднее время ожидания заявок разных классов и> в системе фиксировано и определяется:

+»?> ТШ

L =■"

(13)

2(1-Л) 2с(1 - Я) Учитывая, что суммарная загрузка системы д _ у| д ^ _ и ! то выражение (12) примет

(=1

ы

вид:

^гес

м _ м

(14)

2с(\-±Щ 4» с

где _ - коэффициент вариации длительности об-

г' " М[т,\

Значение / , определяется также выражением (14) с

semi

служивания заявок. Значение / ,

semi

условием что к — v — 0«соответственно

(15)

^ send

2 с-±Я,8 2С~Л**

/=I

Учитывая (10), (14) и (15), выражение (9) примет вид:

2с-±Л,к,

Процесс записи значений переменных в ссЫиМА-системе в форме блок-схемы представлен на рис. 5.

С

J

Запрос на запись значения некоторой переменной

гО-

Поиск записи о переменной в справочнике,

I.

Рис. 5. Процесс записи значений переменных

T-Comm "Гом 10. #1 2-2016

У

Таким образом, длительность данного процесса, будет определятся выражением:

Т"т'" =1+1 +а / (17)

Для расчёта / ^ воспользуемся выражением (14). Соответственно учитывая (10), выражение (17) примет вид:

+ + (18) ТГ* = а; ^-?-+ а{\оё2(г + \)-])+(^

2 с-^к,

Используя (16), (18) становится возможным решение выражения (8),

Д]я определения вероятности Ря потери информации при сё обслуживании. Параллельную программу необходимо представить как одноканальную С МО без накопителя, т.е. с ростом нагрузки доля потерянной информации будет расти. При этом входящая информация образует простейший поток Л с интенсивностью X, а интенсивность обслуживания прибором _ 1 . Таким образом, данная система будет характеризоваться двумя состояниями: программа выполняется либо простаивает.

В результате несложных преобразований можно определить вероятности нахождения в каждом из этих состояний; Ц и „ Я

Л + // Л + р Известно [7,8,9,10]. что вероятность потери информации в результате отказа в обслуживании из-за занятости прибора совпадает с вероятностью того, что система занята обслужи-

(19)

ванием заявок, т.е. р = р, соответственно:

® 1

Р-Лл-

*"дт; + 1

Таким образом, для определения длительности выполнения программы и вероятность потери информации необходимо выполнить следующую последовательность действий:

1. Задать значения основных характеристик вычислительной системы

2. Задать граф информационной структуры программы, реализующей алгоритм обработки

3. Рассчитать среднюю длительность / поиска записи в справочнике переменных.

4. Для каждой операции определить булевы значения ал

и а2-

5. Для каждой операции определить т™'"', Т-'г>" и Т,Ы1-

6. Используя выражение (8) рассчитать Тд.

7. Используя выражение (19) рассчитать вероятность потери информации Рд.

Заключение

1. Разработанная модель позволяет оценить возможность реализации конкретной вычислительной задачи с использованием ресурсов вычислительной системы. В случае неудовлетворительных результатов оценивания, процедура распараллеливание выполняется необходимое количество раз, либо принимается решение о нецелесообразности параллельной реализации вычислительной задачи.

2. Сократить длительность выполнения вычислительной задачи возможно путём увеличения ёмкости оперативного запоминающего устройства и производительности коммуникационного оборудования используемого для информационного обмена между вычислительными узлами. Корректируя значения характеристик коммуникационной среды, появляется возможность оценить возможности параллельной программы при увеличении производительности коммуникационного оборудования.

3. Добиться сокращения времени выполнения параллельной вычислительной задачи возможно путём рационального распределения операций (или групп операций) между вычислительными модулями, с целью предотвращения излишних обращении вычислительных модулей к коммуникационной среде для информационного обмена. Однако существующие методы распараллеливания не всегда позволяют учесть особенности построения вычислительных средств, что приводит к рассогласованию между информационной структурой вычислительной задачи и архитектурой построения вычислительного комплекса.

Литература

1. Воеводин В. В.. Воеводин Вл. В. Параллельные вычисления, СПб.: БХВ-Петербург, 2002. 608 с.

2. Курносое М.Г. Алгоритмы организации функционирования распределенных вычислительных систем с иерархической структурой. Диссертация на соискание учёной степени доктора технических наук: 05,13.15 - Новосибирск, 2016. 177 с.

3. Карпов В.Е. Введение в распараллеливание алгоритмов и программ // Компьютерные исследования л моделирование. 2010. Т. 2. № 3. С. 231-272.

4. То/юркое ВВ. Модели распределенных вычислений. М.: ФИЗМАТЛИТ. 2004,320 с.

5. Ледяикии И,А., Легкое К.Е. О некоторых концептуальных вопросах разработки параллельных структур вычислительных задач кластерных вычислительных систем Н Наукоемкие технологии в космических исследованиях Земли. 2014. 'Г. 6. № 6. С. 30-38.

6. Ахтамова С.С. Алгоритмы поиска данных И Современные наукоёмкие технологии. 2007. №3. С. 11-14.

7. Бурен ил АН.. Легкое К.Е. Современные инфокомму н и каци-онные системы и сети специального назначения. Основы построения управления. М.: ООО «ИД Медиа Паблишер», 2015. 348 с.

8. Клейнрок Л. Теория массового обслуживания. М.; Машиностроение, 1979. 432 с.

9. Алиев Т. И. Основы моделирования дискретных систем. СПб.: СП6ГУ ИТМО. 2009. 363 с.

10. Легкое К.Е.. Буренин А Н. Модели организации информационной управляющей сети для системы управления современными инфокоммуникационными сетями // Наукоемкие технологии в космических исследованиях Земли. 2012. Т. 4. № 1.С. 14-16.

œMPUTER SCIENCE

THE PROCESS MODEL OF THE PROCESSING ORGANIZATION OF OPERATIONAL INFORMATION BY DISTRIBUTED COMPUTER SYSTEMS FOR SPECIAL PURPOSE

Oleg E. Nesterenko, post-graduate student of the ACS Department, Military Space Academy, St. Petersburg, Russia,

konferencia_asu_vka@mail.ru

Abstract

It is shown that in conditions of increased demands for the efficiency of calculation systems (CS) used in the construction of automated systems for special purposes (AS SP), questions enhancing their productivity are questions of particular relevane. CS have a complex, multi-layer architecture, as are result the need for consideration of the duration of information exchange between the components of CS is arise. However, scientific-metodical apparatus used in the simulation of the process of data processing does not fully take into account this feature. Thus, there is a contradiction regarding the need to develop software for modern CS and the lack of necessary scientific-methodical apparatus of the parallel computing organization in CS with a hierarchical architecture. As the main indicator of the efficiency of AS SP it is selected number of processed requests per unit of time, and the main indicator characterizing the CS is the duration of execution of a program implementing the algorithm of information processing. The reduction of this indicator is expected through the rational distribution of operations between the compution modules and nodes. We considered several models used to calculate the duration of program execution, based on the model of functioning of the CS in asynchronous mode, in which all operations are performed upon distribution of the values of the necessary variables. A feature of these systems is the availability on the compute nodes of the directory used by the program variables, respectively with a significant amount of information stored in it, there is a need of accounting ^a the duration of the search of variable values. Also e model building were taken into account the delay that occurs when information exchange through communication medium between the computing nodes. To calculate the duration of this delay, the switch network is presented in the form of multichannel Queuing systems with limited queue and non-uniform flow of incoming applications, as well as a non-priority discipline of service.

Are identified possible ways to reduce the duration of the execution of parallel programs. The main of which is the improvement of communication equipment used for communication environment of the CS. Another direction is the use of algorithms for the rational distribution of operations between the compution nodes and modules with the aim of preventing unnecessary applications of computation modules to the communication environment for information exchange.

Keywords: computer system, computer complex, NUMA, parallel program, the duration of information exchange. References

1. Voevodin V.V., Voevodin Vl.V. Parallel computing. SPb.: BHV-Petersburg, 2002. 608 p. (In Russian)

2. Kurnosov M.G. the Algorithms of functioning organization of distributed computer systems with hierarchical structure. Dissertation for the degree of doctor of technical sciences: 05.13.15. Novosibirsk, 2016. 177 p. (In Russian)

3. Karpov V.E. Introduction to parallel algorithms and software. Computer research and modeling.2010. Vol. 2. No. 3. Pp. 231-272.

(In Russian)

4. Toporkov V.V. Models of distributed computing. M.: FIZMATLIT, 2004. 320 p. (In Russian)

5. Ledengin I.A., Legkov K.E. On some conceptual issues of development of parallel structures computing tasks cluster computing systems. H&ES Research. 2014. Vol. 6. No. 6. Pp. 30-38. (In Russian)

6. Ahtamova S.S. data search Algorithms. Modern high technologies. 2007 No.3 Pp. 11-14. (In Russian)

7. Burenin A.N., Legkov K.E. Modern infocommunication systems and networks for special purposes. Fundamentals of management. Moscow: Media publisher Publ., 2015. 348 p. (In Russian)

8. Kleinrock L. Queueing Theory. Moscow: Mashinostroenie, 1979. 432 p. (In Russian)

9. Aliev T.I. basics of modeling discrete systems. SPb.: SPbSU ITMO, 2009. 363 p. (In Russian)

10. Legkov K.E., Burenin A.N. Models of organization of information management network to the management system of modern info-communication networks. H&ES Research. 2012. Vol. 4. No. 1. Pp. 14-16. (In Russian)