Комплексный подход к разработке высокопроизводительных кластерных вычислительных систем Текст научной статьи по специальности «Компьютерные и информационные науки»



разования и науки Хабаровского края // Труды XV Всерос. науч.-метод, конф. "Телематика 2008". Т. 2. Санкт-Петербург, 23-26 июня 2008. С. 514-516.

4. Бурков С.М. Алгоритмы и методы поэтапного формирования телекоммуникационных сетей региона. Математическая модель// Вестник ТОГУ. № 1 (8). Хабаровск: Изд-во ТОГУ, 2008. С. 91-100.

5. Кофман А., Анрн-Лабордер А. Методы и модели исследования операций. М.: Мир, 1977. 432 с.

6. Моисеев H.H. Математические задачи системного анализа. М.: Наука, 1981. 488 с.

7. Стратегия развития информационного обще-

ства в Российской Федерации. Утв. 07.02.2008. № Пр-212 // Российская газета. 2008. 16 февр.

8. Федеральная целевая программа "Электронная Россия (2002—2010)". Утв. постановлением Правительства РФ от 28.01.2002. № 65.

9. Шибанов А.П. Обобщенные ОЕИТ-сети для моделирования протоколов, алгоритмов и программ телекоммуникационных систем: Авторсф. лис. ... д-ра техн. наук. Рязань, 2003.

10. Скуратов А.К. Статистический мониторинг и анализ телекоммуникационных сетей: Авторсф. дис. ... д-ра техн. наук. М., 2007.

УДК 681.324

Ю.А. Цветкова

КОМПЛЕКСНЫЙ ПОДХОД К РАЗРАБОТКЕ ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ КЛАСТЕРНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

Повышение сложности задач в различных областях науки и техники, развитие систем компьютерного моделирования требуют все большей производительности от электронных вычислительных машин (ЭВМ) [1,2]. При достигнутом уровне технологий и комплексном применении всех способов возможности повышения производительности ( ) процессоров (П) оказались практически исчерпаны, поэтому сегодня реализуется путь объединения процессоров в разнообразные вычислительные системы (ВС) [3-5].

Вычислительная база современных систем моделирования —суперкомпьютеры. Они чрезвычайно дороги для создания и эксплуатации, имеют длительный цикл разработки, труднодоступны. С развитием ОпсГтехнологий [3, 6] и массовым производством персональных компьютеров стала перспективной разработка многомашинных систем (ММС, кластер). Опыт создания кластеров [3] показывает, что на их основе можносоздатьраспределенный моделирующий комплекс по производительности, близкой к суперЭВМ, но значительно дешевле и быстрее, поскольку он полностью собирается на базе массово выпускаемых компонент.

На современном этапе развития ВС остро стоит проблема повышения их эффективности

при увеличении числа (АО процессоров [3]. Возрастающая сложность управления обработкой задач, характеризующихся большим количеством разнообразных операторов и нерегулярностью логических связей между ними, приводит к увеличению времени обменных операций, простою процессоров и резкому падению производительности ВС по сравнению с потенциальной Р(^)=Р1А/. Для повышения эффективности управления параллельной обработки задач необходимо ее планирование на основе информационного графа алгоритма задачи [3].

На практике при создании ВС для повышения производительности комплексно применяют в рамках одного проекта архитектурные и программные (интеллектуальные) методы, сообразуясь только с их совместимостью. Данная статья посвящена комплексному подходу к разработке высокопроизводительной кластерной вычислительной системы на основе архитектурных и программных методов.

Основные соотношения между параметрами параллельной обработки задачи

Для параллельной обработки задач в ВС справедливы следующие соотношения между параметрами, характеризующими обработку в статическом режиме (УУ> 1):

T^iN^NT^N)-^; S(N) = Tl/To6p(N)-,

Ткл изб( N) = изб

(А0/71;

(1) (2)

(3)

(4)

(5)

где N — число узлов кластера; Г] и —

время обработки задачи одним и М процессорами; 7"сч(Ц) и 7"обм(Аг) — критическое время обработки задачи N процессорами по процессам счета и обмена; ^клил^Ю и TKЛH.]6(N) — избыточный ресурс кластера из N процессоров и его нормированное относительно величины Г, значение; S(/V) и л(^) — ускорение и эффективность параллельной обработки задачи.

Соотношения S(N) = T^/To6p(N) и r\(N) = = S(N)/N широко используются, например [3, 10], для характеристики параллельных вычислений. Эффективность r\(N) характеризует загруженность процессоров. При параллельной обработке одной задачи не всегда удается обеспечить высокую загруженность из-за связанности процессоров. Соотношения (1) — (5) нелинейные, и их вид определяется характеристиками задачи и ВС. Данные соотношения позволяют выбрать по результатам моделирования оптимальное число процессоров (А'опт)для парал-

С^ег 1

лельной обработки, которое обеспечивает приемлемые значения величин S(N) и r\(N).

Архитектура многомашинной вычислительной системы

ММС относятся к классу слабосвязанных MlMD-систем. Этот класс обладает свойством практически неограниченной масштабируемости, поскольку предполагает объединение самостоятельных ЭВМ. Невысокая оперативность взаимодействия ЭВМ при частом обмене приводит к резкому росту T^iN), падению ускорения и эффективности. Поэтому приемлемая производительность ММС может обеспечиваться лишь при обработке множества отдельных задач или одной слабосвязанной задачи.

На основе анализа различных архитектур ВС и способов повышения производительности ЭВМ [3—5J синтезирован кластер ЭВМ с двухслойной коммутацией. Кластер образован путем объединения персональных компьютеров (PC), оснащенных для повышения производительности акселератором (АС), на основе двух коммутаторов (SW). Образовано два слоя: SW1 объединяетакселераторы, a SW2 обьединяет PC. PC (Host) является ведущим для своего АС, последний — ведомым (Slave). Управление обработкой задачи в кластере осуществляется сервером (Server). Кластеры могут объединяться в вычислительный комплекс на основе сетевой технологии (рис. 1). Кластер № 1, к примеру, вклю-

Claster N

PC 1

SW 1

PC

2

PC АС АС Р4°

4 2 I

I

Server N 1

Рис. 1. Архитектура вычислительного комплекса на основе кластера с двухслойной коммутацией

чает четыре PC, два восьмипортовых SW и Server. АС может включать одну или несколько плат. Каждая плата представляет SM Р-модуль на основе четырех сигнальных процессоров ADSP-21160. Такой процессор относится к классу улуч -шенных стандартных процессоров (содержит два вычислительных ядра) и имеет раздельную память команд и данных (гарвардская архитектура) (5, 7]. Производство таких плат освоено, например, в АО "Инструментальные системы" (Москва). Платы устанавливаются в PCI шину PC.

Процессоры имеют достаточно линк-портов для организации всех необходимых связей внутри платы и плат между собой и с SW 1. В режиме SIMD используются оба ядра процессора, которые выполняют одну команду, но над разными данными. Архитектура кластера легко масштабируема. Число ЭВМ в кластере ограничивается только максимальным количеством портов коммутаторов. Например, на коммутаторах с числом портов R = 16 можно объединить 15 PC. Если АС включает одну плату, то число процессоров ADSP-21160 равно 60. Если PC содержит два процессора, a Server — четыре, то общее количество процессоров составляет 94. При увеличении числа плат в АС до трех общее число процессоров составляет 214. Количество кластеров в вычислительном комплексе определяется характеристиками выбранной сетевой технологии.

Разработанная архитектура кластера PC на основе двухслойной коммутации обладает новыми системными качествами. Появилисьраз-ные по быстродействию уровни обмена между процессорам и, что позволяет имитировать функционирование системы на разных уровнях ее представления. При декомпозиции системы интенсивность взаимодействия между операторами возрастает и обмен между процессорами осуществляется на уровне разных SMP-модулей или одногоSMP-модуля. Повышается ускорение счета в обоих слоях и ускорение обмена в слоях и между слоями. Коммутатор позволяет образовать одновременно R/2 независимых каналов обмена. Расширяется класс обрабатываемых задач. На операторах, связанных с обработкой сигналов, достигается значительное ускорение. На основе разработанного кластера могут быть созданы системы структурного моделирования класса суперЭВМ.

Алгоритм моделирования параллельной обработки задач в вычислительных системах

Математическим аппаратом планирования, которое заключается в составлении расписания для множества взаимосвязанных работ (процессов, операторов), направленных к достижению одной (нескольких) целей, являются сетевые модели (графики, таблицы) [8]. Сетевым графикам (ориентированные, без петель графы; временные линейные графики) свойственна высокая наглядность. Таблицы (матрицы) менее наглядны, но позволяют вводить сетевую модель в память ЭВМ. Элементам графа и матрицы при их использовании придается конкретный смысл в зависимости от характера задач. В работе элементы графа имеют следующий смысл: вершины (/ = 1, 2, 3, ..., Г) — операторы счета фсч с временем счета Г/сч ; направленные ребра —логические связи и операторы обмена О^обм с вРе" менем обмена . Величины 7",сч и Г,7о6м

известны.

Для пояснения сущности алгоритма, позволяющего моделировать параллельную обработку задач одновременно по процессам счета и обмена, взят нерегулярный граф алгоритма задачи с небольшим числом вершин (/= 10), двумя входами и двумя выходами (рис. 2). Графу соответствует матрица смежности (МС) (табл. 1). Для моделирования параллельной обработки используется параллельная форма графа, для чего все операторы разбиваются на группы независимых операторов по МС начиная со входных (или выходных) вершин. Оба способа разбиения дают одинаковые конечные результаты (расписания обработки), но существуют отличия в составе групп и правилах формирования элементов матриц групп.

Примем способ разбиения на группы начиная со входных вершин.

Таблица 1

Матрица смежиости

1 2 3 4 5 6 7 8 9 10

1 1 1

2 1 1

3 1 1

4 1 1

5 1

6 1

7 1 1

8 1

9

10

В основу алгоритма положено последовательное выполнение одинаковых операций с матрицами групп в порядке возрастания их номера на единицу. Для работоспособности такого алгоритма необходимо выполнить требование: между операторами должен быть лишь один тип связей — только между операторами смежных фупп. Поэтому операторы группы (К+ 1) опре-деля ются как отстоящие на одно ребро от операторов группы К. Входные операторы имеют группу К - 1. При таком способе разбиения в одну группу попадают зависимые операторы, операторы повторяются в группах. Если оператор оказался одновременно в группах Кч (К+ (Г), то он заносится и в промежуточные группы (А" + I; К + 2; ...; К + с1 — 1) в случае его отсутствия. Такая последовательность повторяющихся операторов (ППО) позволяет искусственно трансформировать логическую связь между двумя зависимыми операторами, попавшими в одну группу, в логическую связь между операторами смежных групп. Оператора в П ПО, который находится в старшей группе, назовем реальным (основным), а остальных — фиктивными, имеющими нулевое время счета и обмена. Передача данных в ППО возможна через любой ее оператор, а передача данных из П ПО осуществляется только через реальный. Время обмена между фиктивными операторами разных ППО всегда нулевое. Разбиение операторов графа на рис. 2 на группы представлено в табл. 2. Примеры использования фиктивных операторов для различных целей приведены в |8,9].

Введем исходные групповые матрицы счета (Ак) и обмена (В*), матрицу ввода исходных данных & (К-0) и матрицу вывода результатов обработки задачи Вк™х (К= Кто)- Матрица/*Асо-держит информацию о Тич, а матрицы ЕР,

В*Т, у оби.

Таблица 2

Группы операторов

К в с.

1 1 2

2 3 4 5

3 3 6 7 8

4 9 6 7 10

5 9 10

Введем преобразованную матрицу обмена ~ВК =/(Вк) и общую матрицу группы Ск= Ак + Вк ■ Все введенные матрицы размера [пк х лА '11, где пк параллелизм группы Кс учетом фиктивных операторов.

Элементами всех введенных матриц могут быть:

положительное число и нуль (а = 0), что указывает на наличие логической связи между операторами двух смежных групп А"и (К+ 1) и количественную характеристику этой связи;

отрицательное число (а < 0; спецсимвол), что указывает на отсутствие логической связи междуоператорами двух смежных групп К и (А"+ 1). Здесь для определенности выбрано число -1.

Обозначим матрицу ввода В" =С° (так как

Л°=0) и представим процесс моделирования в виде линейной матрично-групповой модели (МГМ):

(С0; С1; С2;...; С*;...; Ск™хА; С*тах). (6)

Для расчета расписания обработки задачи на операторном уровне вводится динамическая матрица [г, в которой формируется необходимая для планирования информация. Элементы матрицы /Сформируются последовательным выполнением спецопераций с матрицами МГМ (6). Формирование матрицы Ок(К= 0,1,2,..., Ктах ) позволяет рассчитывать суммарное время (Т1СЧ + Тц0бМ)

по всем логическим связям (путям) графа задачи от начального события (начало ввода исходных данных, гн = 0) до момента начала обработки операторов следующей группы (А"+ 1), причем из всех возможных путей, связывающих входной оператор с определенным оператором группы (К + I), выбирается путь с максимальным временем. Расписание обработки операторов формируется по матрицам путем выбора максимальных положительных чисел из их столбцов, соответствующих реальным операторам.

Максимальное из чисел матрицы /)Атах означает время окончания обработки всей задачи

Р).

В основе алгоритма лежит одна операция — сложение двух чисел, которая выполняется по правилу

С-а+Ь=

а + Ь при а,Ь> 0;

(7)

-1 при а и(или) Ь< 0.

Преобразование В к = ) учитывает максимально возможное время задержки при последовательной передаче данных от нескольких операторов группы К к одному оператору группы К + 1 для случая размещения всех операторов в разных процессорах (внешний обмен).

Элементы ¿>*=-1; 0 матрицы В*

у = 1,2,...,/; у = 1,2,...,У в преобразовании не участвуют.

Преобразование осуществляется по столбцам (/) и состоит в следующем: все положительные элементы столбца заменяются на сумму этих элементов

—к

Я а =1

вку при 4 < 0;

I

X«- при >0,

и=1

/ = 1,2,...,/; у = 1,2,...,У.

(8)

Расчет матрицы Ск = Лк +ВК осуществляется по общим правилам сложения матриц с учетом (7). Матрицы Ак и Вк всегда одной структуры.

Расчет матрицы Г)к(К=0, 1,2.....А"тах) осуществляется по соотношениям

= шах

/ = 1,2,3,...,/; у = 1,2,3,...,У;

/и = 1,2,3,..., М. (9)

Расчет элементов осуществляется по правилу: элементы /-й строки левой матрицы суммируются с соответствующими элементамиу'-го столбца правой матрицы по правилу (7); из всех сумм выбирается максимальная, которая есть

искомое значение

Левая матрица /)*"' есть результат предшествующий аналогичной спецоперации (9). Число столбцов левой матрицы всегда равно числу строк правой матрицы.

Алгоритм позволяет моделировать отдельно обработку задачи попроцессусчета(привАГ =0),

по процессу обмена (при Ак = 0). Это позволяет определять ускорение только по процессу счета и оценивать его снижение, обусловленное процессом обмена. Расчет только величин Тсч (при

Вк=0), (при А* =0) или Г^р ДЛЯ ускорения расчета может выполняться над разными парами смежных матриц МГМ (6) параллельно.

Оптимальное число процессоров (Л^ ) выбирается путем проведения ряда циклов моделирования при постепенном уменьшении величины /V от (максимальный параллелизм задачи), при этом осуществляется укрупнение операторов в группах с наибольшими значениями пк . После выбора значения /Уопт по приемлемым значениям /V) и г\(Ы) рассчитывается расписание на операторном уровне, которое затем переносится на выбранные процессоры. Распределение операторов по процессорам осуществляется на основе гомоморфной свертки с учетом их специализации. Подграфы операторов формируются но их связности в порядке обработки от начала графа. По возможности загрузка процессоров осуществляется равномерно.

Для подтверждения работоспособности разработанного алгоритма рассчитаем расписание

работы процессоров при обработке задачи, пред- 9 10 9 10

ставленной графом на рис. 2. Дня удобства рас- 6 6 -1 6 0 -1

чета и анализа результатов примем время счета п 7 7 ; вА= 1 1 0

операторов (мс) равным их номеру /', т. е. 9 0 -1 9 0 -1

Т1СЧ = / (74см = 4 мс), а время всех внешних обме- 10 -1 0 10 -1 0

нов — 1 мс (7^7 о6м = 1 мс). Разбиение операторов

на группы представлено в табл. 2. Исходные данные и результаты расчета представлены ниже, а временные графики работы процессоров — на

рис. 3. В данном примере матрицы В" и Вк совпадают.

1 2

1- П -Г

-1 1

В° =

с0 = В()-

а5= 9 10

с4 =

1 2 ■вых ^вых

9 -1 -1 10

9 10

6 "6 -Г

7 8 7

9 0 -1

10 -1 0

в5 = 9 10

1 2 'вых '■вых

1 -Г -1 1

= 1

3 4 5 1 1 -Г

-12 2

= 1

3 4 I 1

-1 0 1

-1

С5=9 10

1 2 'вых *-вых

10 -1 -1 11

А2= 4

с-Л

3 6 7 8 0 0 0 -1

4-1 4-1

-1 -1 -1 5

3 4 5 2 2 -Г

-12 3

; В<= 4 5

3 6 7 8 "0 0 0 -Г

0-10-1

-1-1-1 0

Вк = Вк\

1.

/)" =с() = 'вх 2.

1 2 1 -1

-1 1

1»х

/)2= 2

** НУ

Ск -СК\

£>'= 'вх 2т

1»

3 6 7 8 7 3 7 -1

7-179

3 4 5

'3 3-1

-13 4

А} =

3

С2= 4 5

3 6 7 8 0 0 0 -1

4-1 4-1

-1 -1 -1 5

6 7 9 10 6 7 9 10

3 "3 3 -1 -Г 3 "1 0 -1 -1

6 0 -1 0 -1 ; В"= 6 0 -1 0 -1

7 -1 0 0 0 7 -1 0 0 0

8 -1 -1 -1 8 8 -1 -I -1 1

С3 =

6 7 9 10

3 "4 3 -1 -1

6 0 -1 0 -1

7 -1 0 0 0

8 -1 -1 -1 9

/)3= '«

6 7 9 10 И 10 7 7

11 10 7 18

/)5= 1вх

04 =

1 2 *вых '■вых

28 28 28 29

9 10

1вх "18 17

2 вх 18 18

Расписание обработки операторов представлено в табл. 3, а временные графики обработки задачи тремя процессорами — на рис. 3. Очередной процессор выделяется согласно операторному расписанию (табл. 3) в случае, если не освободились ранее выделенные процессоры.

Данная задача для реализации внутреннего параллелизма требует для параллельной обработки три процессора. Параметры обработки в этом случае: 7^(3) = 29 мс; 5(3) = 2,03; г|(3) = 0,68.

Таблица 3

Расписание обработки операторов

Номер оператора 1 2 4 5 3 8 7 6 9 10

Время, мс 1 1 3 4 7 9 10 11 18 18

i i i i -1-1-1-1-1-1-1-1-1-1 »

2 4 6 0 10 12 14 16 13 20 22 24 26 2В ЭС /, мс

Рис. 3. Временные графики работы процессоров

Обработка малоэффективна вследствие большого избыточного ресурса. Вариант обработки двумя процессорами при их загрузке: П1 (1—5— 8-10). П2 (2-4-3—6—7-9) характеризуется параметрами 7^(2) = ЗЗмс, 5(2) = 1,79, г|(2) = = 0,89. Видно, что повышение эффективности обработки задачи двумя процессорами сопровождается снижением ускорения, но освободившийся П можно эффективно использовать для других расчетов, и в этом случае эффективность в целом группы из трех процессоров повышается. При наличии расписания работы процессоров можно использовать резервный ресурс каждого процессора.

Оценим сложность и границы применимости разработанного алгоритма. Наибольшим объемом вычислений характеризуется расчет динамических матриц. Количество операций оценивается выражением V = m2N, где N — общее число операторов задачи, т — среднее число операторов водной фуппе. Оценим время планирования при N = Ю6 и т - 1000. При средней производительности процессора ADSP-21160. равной Р = 400 MFLOPS [5], время планирования составит порядка 40 мин. Расчет может выполняться парал-

лельно. Обработка одним 5МР-молулем из четырех процессоров АО$Р-21160 составит 10 мин. Время планирования приемлемо для практики. При имитации функционирования создаваемой сложной технической системы в целом и отдельных ее подсистем прогон модели осуществляется многократно, поэтому накладные расходы на планирование окупаются.

На данном этапе развития вычислительных систем повышение их производительности осуществляется архитектурными и программными методами. Архитектура кластера персональных компьютеров на основе двухслойной коммутации позволяет повышать производительность путем увеличения числа 5М Р-модулей и персональных компьютеров и адаптироваться к структурам обрабатываемых задач. Разработанный алгоритм повышает качество управления параллельной обработкой сложных задач, что способствует повышению эффективности использования вычислительного ресурса. На основе предлагаемого комплексного подхода могут быть разработаны высокопроизводительные проблемно-ориенгиро-ванные комплексы структурного моделирования

СПИСОК ЛИТЕРАТУРЫ

1 Моисеев H.H. Математические задачи системного анализа. М.: Наука, 1981. 488 с.

2. Емельянов В.В., Курейчик В.В., Курейчик В.М.

Теория и практика эволюционного моделирования. М.: Физмалит, 2003. 432 с.

3. Воеводин В.В., Воеволин Вл.В. Параллельные вычисления. СПб.: БХВ-Петербург, 2004. 608 с.

4. Танеибаум Э. Архитектура компьютера. 5-е изд. СПб.: Питер, 2007. 844 с.

5. Гузик В.Ф., Золотовский В.Е. Проблемно-ориентированные вычислительные системы: Учеб. пособие. Таганрог: Изд-во Технологического ин-та ЮФУ, 2007. 306 с.

6. Олифер В.Г., Олифер H.A. Компьютерные сети. Принципы, технологии, протоколы: Учебник для вузов. 2-е изд. СПб.: Питер, 2005. 864 с.

7. Солонина А.И., Улахович Д.А., Яковлев Л.А. Алгоритмы и процессоры цифровой обработки сигналов. СПб.: БХВ-Петербург, 2002. 464 с.

8. Гчутков В.М. Основы безбумажной информатики. М.: Наука, 1982. 552 с.

9. Николаев В.И., Брук В.М. Системотехника: методы и приложения. Л.: Машиностроение. Ле-нингр. отд-ние, 1985. 199 с.

10. Барский А.Б. Параллельные информационные технологии: Учеб. пособие. М.: Интернет-Ун-т информ. технологий; БИНОМ. Лаборатория знаний, 2007. 503 с.

УДК 681.324.06

С.М. Бурков, В.А. Бертенев

ПОСТАНОВКА ЗАДАЧИ ФОРМИРОВАНИЯ БАЗОВОЙ СЕТИ РЕГИОНАЛЬНОГО УРОВНЯ

Создание телекоммуникационных инфраструктур региональною уровня — одна из важных задач информатизации государства, решение которой требует разработки подходов, учитывающих специфику регионов [8, 9].

Основой телекоммуникационной инфраструктуры является базовая (опорная) сеть, обеспечивающая связь между региональными узлами, к которым подключаются пользователи региона.

Создание базовой сети осуществляется в целях обеспечения всем пользователям возможности доступа к информационным ресурсам и сервисам, предоставляемым региональными, федеральными и международными организациями и учреждениями различных форм собственности 13, 7,8].

Далее считаем, что в регионе существует несколько типов (категорий) пользователей и все они сосредоточены в населенных пунктах, где создаются узлы для подключения к базовой сети. Известны количество пользователей каждого типа на каждом узле и число узлов. Между узлами необходимо установить связь, используя либо имеющиеся каналы провайдеров, либо создавая новые. Система связи между узлами образует базовую сеть.

Для доступа пользователей к внешним по отношению к региону информационным ресурсам необходимо наличие узлов, которые имеют выход во внешние телекоммуникационные сис-

темы. Кроме того, базовая сеть региона должна обеспечивать обмен информацией между пользователями региона и доступ к информационным ресурсам региона в основном с использованием своих (региональных) каналов связи.

При создании базовой сети необходимо учитывать возможности организации связи между узлами, географические особенности региона, финансовые возможности региона, наличие провайдеров и их запросы.

Создание (формирование) региональной базовой сети условимся называть обшей задачей, анализ возможных подходов к решению которой проводится в данной статье. В зависимости от конкретных возможностей региона общая задача может решаться по-разному. Исследуем два подхода к решению общей задачи.

Прямая задача формирования базовой сети

В данном случае используется прямое решение общей задачи формирования региональной базовой сети, которое предусматривает объединение сетью связи всех региональных узлов и подключение к сети всех пользователей региона. При этом считается, что общая задача решается сразу и за время ее решения параметры региона не меняются. Этот подход можно применять. когда в регионе имеется необходимое количество ресурсов для построения базовой сети и подключения к сети всех категорий пользователей [2].