CC BY
3Труды МАИ. Выпуск № 98
http://trudymai.ru/
УДК 629.783
Формализация задачи оптимального распределения целевой информации с космических аппаратов по наземным пунктам
обработки
Нгуен Виет Хоай Нам*, Ха Мань Тханг
Вьетнамский государственный технический университет имени Ле Куй Дона,
ул. Хоанг Куок Вьет, 100, Ханой, Вьетнам *e-mail: ngvhoainam@gmail.com
Аннотация
Рассматриваются вопросы, связанные с формализацией задачи планирования процессов обработки космической информации в пунктах ее обработки и разработкой комплекса взаимоувязанных математических моделей, необходимых для построения специализированного программного обеспечения, позволяющего формировать оптимальные планы в реальной обстановке на заданном интервале планирования. Предложен подход к решению задачи. Вводится система критериев в виде показателей стоимости и времени обработки. Решение задачи планирования процессов обработки космической информации сводится к совместному решению задач построения маршрута обработки и задачи распределения процессов по результатам статистического моделирования. Рассматриваются условия применимости предлагаемого подхода.
Ключевые слова: обработка космической информации, оперативное планирование, распределение информационных ресурсов, оптимизация, эффективность, поиск путей на графе, многокритериальность.
Введение
Современный этап развития космонавтики характеризуется повышенной активностью в сфере создания, развертывания и эксплуатации космических систем дистанционного зондирования Земли (ДЗЗ), оснащенных различными типами бортовой аппаратуры, и обеспечивающими своевременную и качественную доставку необходимой информации большому количеству потребителей [1,2,3,4,5]. Целевое функционирование космической системы заключается в управлении целевым применением космических аппаратов, приеме информации, ее обработки и передаче потребителям [6]. При этом, вопрос о рациональном распределении получаемой информации внутри неоднородной наземной инфраструктуры, местах ее хранения и дальнейшей обработки требует более детального изучения. Решение этой задачи должно обеспечить, с одной стороны, максимальную ценность информации, а с другой, ее экономическую привлекательность для потребителя.
В статье предлагается формализация задачи оптимального распределения целевой информации с космических аппаратов по наземным пунктам обработки и методический подход к ее решению, который ориентирован на создание специализированного программного обеспечения.
Математическая постановка задачи
Будем считать, что распределение целевой информации с космических аппаратов по наземным пунктам ее обработки происходит последовательно следующим образом. На основе заявки потребителя формируется соглашение об уровне обслуживания (SLA-соглашение), включающее в себя требования пользователя (какой продукт, какого качества и в какие сроки), внутрисистемные ограничения и геоинформационную привязку [7].
SLA-соглашение позволяет сформировать набор последовательных запросов к системе, составляющих сценарий обработки заявки [8,9]. В свою очередь, каждому запросу из сценария соответствует свой вычислительный процесс обработки, позволяющий реализовывать решение вычислительной задачи, сохранение данных, передачу данных.
Изначально процессы не привязаны к пунктам обработки информации (ПОИ) (узлам), но известно в каких узлах они могут выполняться. Каждый узел имеет геоинформационную привязку. Требуется определить какой процесс и на каком ПОИ будет запущен, чтобы обеспечить максимальную оперативность и минимальную стоимость обслуживания заявки.
Математическая постановка задачи включает в себя:
- модель физических ресурсов;
- модель запроса;
- модель назначения запроса;
- модель ограничений;
- модель остаточных доступных ресурсов;
- модель исходных данных;
- постановку задачи.
Модель физических ресурсов можно представить в виде:
Н = (Р и М и К, I), (1)
где Р - множество вычислительных узлов, М - множество хранилищ данных, К -множество коммутационных элементов сети обмена, Ь - множество физических каналов передачи данных. На множествах Р, М, К и Ь определены векторные функции скалярного аргумента, задающие соответственно характеристики вычислительных узлов, хранилищ данных, коммутационных элементов и каналов передачи данных:
рк(р) = (рк1(р), рИ](р),..., рНп1(р)), тН(т) = (тН1(ш), тИ2(т),..., тИп2(т)),
(2)
кН(к) = (кН1(к), кИ2(к),..., кЬп3(к)), !И(!) = (1И1(1), ¡к2(1),..., !Ип4(1))
Здесь р Е Р, т Е М, к Е К, I Е Ь. Составные части векторной функции могут принимать как вещественные, так и целочисленные значения. Для упрощения можно считать, что для коммутационные элементы и каналы передачи данных определяются одинаковыми характеристиками.
Запрос - единица данных, поступающих на вход планировщика ресурсов. Множество запросов образуют пул запросов. Каждый запрос из пула характеризуется требуемой вычислительной производительностью, объемом оперативной и хранимой информации, а также требованиями по пропускной
способности канала связи. Запрос можно представить в виде графа, предложенного
в [10]:
G= (WuS E), (3)
где W - множество виртуальных пунктов обработки, S - множество виртуальных пунктов хранения данных, E - множество каналов передачи данных между пунктами обработки и хранения. На множествах W, S и E определены векторные функции скалярного аргумента, задающие характеристики запрашиваемого виртуального элемента (требуемое качество сервиса в SLA-соглашении) [3]: wg(w) = (wgj(w), wgj(w),..., wgnl(w)J,
sg(s) = (sgl(s)' sgn2(s)), (4)
eg(e) = (egi(e)' eg2(e), ■■■, egn3(e)
Здесь w E W, s E S, e E E. Составные части функции могут принимать как вещественные, так и целочисленные значения. Характеристики SLA элемента запроса должны совпадать с характеристиками соответствующего ему ПОИ. Назначением ресурсного запроса будем считать отображение [3]
A : G ^ H={W ^ P , S ^ M, E ^ {K, L}} (5)
Модель ограничений включает в себя отношения между характеристиками запросов и физических ресурсов. Можно выделить по крайней мере три типа отношений между характеристиками элементов запросов и соответствующих характеристик физических ресурсов [10]. Обозначим через xi характеристику i-го элемента запроса, через yj - соответствующую ей характеристику j-го физического ресурса. Тогда эти отношения можно записать следующим образом [10, 11]. 1. Недопустимость перегрузки емкости физического ресурса:
^ х* ^ У' (6)
¿Ей )
здесь Я - множество элементов запросов, назначенных на выполнение на физическом ресурсе у-.
2. Соответствие типа запрашиваемого ресурса типу физического ресурса:
X = у,-. (7)
3. Наличие требуемых характеристик у физического ресурса:
х, < у,. (8)
Отображение (5) называется корректным, если для всех физических ресурсов и всех их характеристик выполняются отношения (6) - (8) [10].
Остаточным графом доступных ресурсов называется граф Нге5, для которого заданы значения функций по характеристикам, удовлетворяющие следующему отношению [4]:
(9)
Е
Здесь Жр - множество виртуальных серверов, назначенных на выполнение на вычислительном узле р, Е1 - множество виртуальных каналов, отображенных на физический канал ¡, Ек - множество виртуальных каналов, проходящих через коммутационный элемент к, 8т - множество storage-элементов, размещенных в хранилище данных т.
Исходными данными задачи назначения являются [11]:
1. Множество запросов 2 = {01}, поступивших планировщику;
РКез^Р) = рКр) - ^ мд(\л/),
2. Остаточный граф доступных ресурсов Hres = (P U M U K, L).
Математическая постановка задачи: из множества возможных запросов сформировать множество Z и разместить на выполнение в систему максимальное число запросов, таких, что выполняется отображение A.
Необходимо отметить, что непосредственное решение задачи в такой постановке затруднительно в силу того, что данные, генерируемые в процессе обработки заявки могут быть использованы для обслуживания других заявок, что приводит к необходимости учета этого факта в других заявках и дополнительной оптимизации их размещения в узлах НКИ (рисунок 1).
возможные ПОИ для обработки
Рисунок 1. Иллюстрация задачи определения размещения процессов Задачу можно существенно упростить, условно разделив ее на две подзадачи. - Задача 1 заключается в построение оптимального маршрута прохождения заявки по наземным ПОИ с известными промежуточными ПОИ для
сохранения/считывания информации;
- Задача 2 предполагает определение оптимального распределение хранимой
информации по ПОИ с учетом статистики заявок и их геоинформационной
привязки
Постановка задачи построения оптимального маршрута.
Эта задача может быть интерпретирована как задача построения оптимального маршрута прохождения заявки с известными промежуточными ПОИ, считая, что в одном ПОИ может быть последовательно запущено несколько процессов ее обработки.
В качестве начального ПОИ может быть: ПОИ, где хранится первичная информация; ПОИ, где хранятся промежуточные результаты обработки предыдущих заявок, которые удовлетворяют требованиям текущей обрабатываемой.
Конечным пунктом маршрута является потребитель.
Так как последовательность запуска процессов для обработки заявки в узлах заранее известна, то данная задача может быть решена последовательно для элементарных маршрутов, не содержащих внутри себя узлов, содержащих промежуточные результаты обработки.
Таким образом задача состоит в последовательном построении оптимального пути на графе (рисунок 2), при этом:
1. Входные данные: перечень ПОИ инфраструктуры, перечень процессов обработки с привязкой к ПОИ, на которых они могут быть запущены, начальный процесс и ПОИ его размещения.
2. Критериями оптимальности являются:
- оперативность как суммарное время прохождения заявки между заданными ПОИ [6]:
Iобсл) тq-s +
тs-q тож3 + тсбр + тож4 + тобр + тож5 + тарх + тож6 + тдос (10)
тq-s тплq + тож1 + тпц + т ож + тож2 +
- стоимость обслуживания прохождения (п. 2.5) [6]:
си = С» (Ул> ^) + Сит (d,М(Ю), (11)
составляющая С, обусловлена, в основном, трудозатратами на планирование упл и расходованием ресурсов Б-го КА АЯ,. Составляющая С т зависит от
заданного в заявке уровня обработки й и задействованных в передаче и обработке ПОИ, т.е. от искомого маршрута М передачи обрабатываемого снимка между ПОИ. 3. Ограничениями являются :
- значения доступных ресурсов в возможных ПОИ размещения процессов: размер оперативной памяти, размер долговременной памяти, загруженность процессора(ов)
- политика распределения вычислительных ресурсов (совокупность запретов и приоритетов на получение, хранение и выдачу информации потребителям)
- показатели эффективности: гарантированное время обслуживания заявки, эффективная производительность заявки, информационная ценность специализированного продукта, который производится обработкой снимка, сделанного по заявке.
Процесс 2 (узел 2.1)
Процесс 3 (узел 3.1)
Процесс 1 (начальный узел)
Процесс 2 (узел 2.2)
Процесс 3 (узел 3.2)
Процесс 2 (узел 2.М)
Процесс 3 (узел 3 .К)
Процесс N (узел КЬ)
Рисунок 2. Граф для определения элементарного маршрута Постановка задачи определения оптимального распределения хранимой информации в ПОИ
Как было сказано выше, эта задача предполагает определение оптимального распределение хранимой информации в ПОИ с учетом статистики заявок и их геоинформационной привязки. Данная задача также может считаться оптимизационной, для которой:
1. Входными данными являются: атрибуты заявок, характеристики потока заявок для каждого типа потребителя (закон распределения промежутков времени между подаваемыми заявками
2. В качестве критериев оптимальности можно принять: математическое ожидания времени исполнения (обслуживания) всех заявок, совокупная стоимость обслуживания всех заявок.
3. Ограничениями являются:
- значения доступных ресурсов в возможных ПОИ размещения процессов: размер оперативной памяти, размер долговременной памяти, загруженность процессора(ов)
- политика распределения вычислительных ресурсов (совокупность запретов и приоритетов на получение, хранение и выдачу информации потребителям)
- показатели эффективности: эффективная производительность системы, совокупная информационная ценность продуктов.
Методический подход к решению задачи Декомпозиция постановки задачи, проведенная в выше, выявила следующее:
- исходная задача разбивается на две подзадачи: задачу построения оптимального маршрута и задачу определения оптимального распределения хранимой информации по ПОИ
- независимо от постановки, обе эти задачи являются многокритериальными. Так или иначе, решение многокритериальных задач подразумевает
скаляризацию критерия. Учитывая особенности поставленной задачи можно предложить следующие подходы к ее решению [15].
При малом количестве узлов и заявок пользователей задача оптимального распределения может быть решена методом перебора.
В противном случае возможно применение одного из следующих методов [15,16]:
- метод линейной свертки критериев,
- метод Парето и его модификации,
- метод последовательных уступок и ограничений,
- метод уверенных суждений.
Методический подход к решению задачи построения оптимального маршрута
В рамках данной статьи предложено свести задачу построения оптимального маршрута прохождения заявки по элементам с известными промежуточными ПОИ к задаче построении кратчайшего пути на графе. Для каждой заявки строится граф ее прохождения (рисунок 2). В построенном графе исключаются ПОИ, в которых в данный момент не выполняются ограничения по ресурсам и требованиям SLA-соглашения. В этом случае, при условии скаляризации критериев оптимальности, для решения можно предложить три наиболее эффективных алгоритма: алгоритм Дейкстры, алгоритм Флойда, переборные алгоритмы. Указанные алгоритмы легко выполняются при малом количестве вершин в графе. При увеличении их количества задача поиска кратчайшего пути усложняется.
Методический подход к решению задачи определения оптимального распределения хранимой информации по ПОИ
Задача определения ПОИ для хранения промежуточных результатов обработки (обратной задачи) имеет следующие особенности:
- задача имеет статистический характер
- поскольку перераспределение больших объемов хранимой информации требует времени, то решение этой задачи в реальном времени нецелесообразно и, следовательно, должно проводится с определенной, достаточно большой, периодичностью.
- Учитывая это, в качестве основного метода решения задачи можно предложить метод статистического моделирования, в котором:
- моделируется поступление заявок пользователя,
- моделируется планирование съемок, прием и передача информации с космического сегмента на элементы НКИ,
- моделируется процесс прохождения заявки по элементам НКИ (решается прямая задача).
Параметрами, подлежащими определению являются совокупности, включающие:
- геоинформационные атрибуты заявки.
- процессы обработки, генерирующие промежуточную информацию,
- узлы для хранения промежуточной информации.
Можно выделить два возможных варианта проведения статистического моделирования:
1. Вариант. На начальном этапе моделируются процессы с учетом накопленной первоначальной (на момент запуска системы) статистики. На последующих этапах по результатам статистики поступления заявок уточняются статистические параметры процессов.
2. Вариант. На начальном этапе моделируются процессы с учетом накопленной первоначальной (на момент запуска системы) статистики, а поступающие заявки и результаты их обработки используется для уточнения узлов хранения промежуточных данных.
Анализ условий применимости предлагаемого методического подхода
Условия применимости предлагаемого методического подхода можно разбить на несколько групп
- условия применения методического подхода к решению поставленной задачи
- условия адекватности математических моделей объектов и процессов
- условия применимости исходных данных
Условия применения методического подхода к решению поставленной задачи Выше предложено вместо общей сложной задачи оптимального распределения целевой информации, полученной с КА по составным частям ЕТРИС ДЗЗ совместно решать две более простые задачи. Однако такой подход возможен, если предполагается что
- сценарий обработки заявки не предполагает возвращения на предыдущие этапы;
- сценарий обработки заявки не содержит параллельных процессов, параллельные процессы в этом случае необходимо заменить одним более сложным процессом;
- атрибуты заявки не изменяются в течении всей обработки;
- обработка заявки не может быть прервана, потребителю передаются результаты после выполнения всех процессов, запланированных в сценарии обработки;
- вычислительная среда функционирует идеально без сбоев и частичной или полной потери информации;
- заявка отправляется на обработку только в том случае, если есть доступные ресурсы ПОИ на маршруте прохождения заявки, в противном случае она ставится в очередь со своим приоритетом
- в случае, когда заявка уже обрабатывается, но ресурсов ПОИ недостаточно для выполнения процесса, то он ставится в очередь на ожидание
Условия адекватности математических моделей объектов и процессов Условия адекватности предполагают соответствие существенных свойств математических моделей соответствующим свойствам реального объекта или процесса. В [10,11,12,13,14,] дан перечень как качественной, так и количественной информация для настройки математических моделей. При этом, в ряде случаев, приведен простой перечень возможных вариантов математических формул для построения математических моделей. Так, например, при описании оператора системы и процесса сбора заявок предложены различные типы распределения входных потоков. Конкретизация данного вопроса возможна только при наличии достаточной статистики, которой к настоящему времени нет. В связи с этим необходимо наличие дополнительных механизмов, реализующих в том числе и поведение потребителя.
Таким образом, при решении задачи оптимального распределения целевой информации одним из условий применимости предлагаемого методического подхода является уточнение параметров стохастических математических моделей. Уточнение может быть проведено как путем сбора дополнительной статистики, так и путем дополнительного математического моделирования.
В части моделирования процессов условием применимости предлагаемого методического подходя является формирование не только их математической модели с точки зрения расчета показателей эффективности, но и с точки зрения затрачиваемых на реализацию процессов вычислительных ресурсов [16,17,18]. Особенностью здесь является зависимость предоставляемых процессу вычислительных ресурсов от возможностей ПОИ и атрибутов конкретной заявки, математическая формализация которой без привлечения экспертов и проведения тестовых расчетов на реальном оборудовании ПОИ невозможна.
Кроме того, при планировании размещения процессов необходимо иметь информации о возможностях ПОИ в части многозадачности, а именно выбрать одну из следующих моделей:
- процессы выполняются параллельно;
- процессы выполняются последовательно с неограниченной очередью;
- процессы выполняются последовательно, но очередь ограничена.
Таким образом требует уточнения следующая информация для связки процесс обработки - ПОИ:
- зависимость загруженности процессора от атрибутов заявки;
- зависимость выделяемой оперативной памяти от атрибутов заявки;
- зависимость хранимой памяти на ПОИ от атрибутов заявки.
Условия применимости исходных данных
Это касается прежде всего исходных данных для решения задачи определения оптимального распределения хранимой информации по ПОИ методом статистического моделирования. Исходными данными для решения такой задачи
является вид и параметры закона распределения входного потока заявок, их распределение по группам потребителей и КА с учетом геоинформационной привязки. Это в свою очередь предполагает либо наличие достаточной выборки заявок, либо при ее отсутствии использование мнения экспертов.
Задача распределения оптимального распределения целевой информации предполагает наличие исходных данных для формирования моделей вычислительных ресурсов ПОИ и каналов передачи информации (производительность, пропускная способность и т.д.) и способов ее пересчета в соответствующие параметры математической модели [19,20]. В случае отсутствия такой информации также необходимо проведение экспертной оценки.
Иными словами, отсутствие или неполная информация об исходных данных требуют привлечения соответствующих экспертов. Кроме того, на этапе эксплуатации системы необходима периодическая корректировка исходных данных с использованием реальной статистики.
Выводы
В статье предложена содержательная постановка задачи оптимального распределения целевой информации с космических аппаратов по наземным пунктам обработки и предложен методический подход к разработке её математической модели.
Предложена методика решения поставленной задачи. Показано, что задачу можно существенно упростить, условно разделив ее на две подзадачи: построения оптимального маршрута прохождения заявки по наземным ПОИ с известными промежуточными ПОИ для сохранения/считывания информации; определения
оптимального распределение хранимой информации по ПОИ с учетом статистики заявок и их геоинформационной привязки.
Проведен анализ условий применимости предлагаемого методического подхода.
Библиографический список
1. National Research Council. Earth Observations from Space: History, Promise, and Reality. Washington, DC: The National Academies Press, 1995, 113 p.
2. Guo H., Zhang L., Zhu L. Earth observation big data for climate change research // Advances in Climate Change Research, 2015, no. 6, pp 108 - 117.
3. Gantz J., Reinsel D. The Digital Universe IN 2020: Big Data, Bigger Digital Shadows, and Biggest Growth in the Far East. IDC Analyze the Future, Framingham, 2012, 16 p.
4. Guo H., Wang L., Chen F. Scientific big data and Digital Earth // Chinese Science Bulletin, 2014, vol. 59, Issue 35, pp. 5066 - 5073.
5. Pattanshetty Shashikala G., Dr. Kini S. N. Survey Paper on Big Data Analytics in Real Time Satellite Data // International Journal of Science and Research, 2017, vol. 6, available at: https://www.ijsr.net/archive/v6i1/ART20164303.pdf
6. Современные технологии обработки данных дистанционного зондирования Земли / Под ред. В.В. Еремеева. - М.: ФИЗМАТЛИТ, 2015. - 460 с.
7. Gerard Blokdijk. The Service Level Agreement SLA Guide - SLA book, Templates for Service Level Management and Service Level Agreement Forms. Fast and Easy Way to Write your SLA. Publisher Lightning Source, 2008, 206 p.
8. Лившиц Б.С. Пшеничников А.П., Харкевич А.Д. Теория телетрафика. - М.: Связь, 1979. - 224 с.
9. Haruo Akimaru, Konosuke Kawashima. Teletraffic. Theory and Applications. Publisher Springer-Verlag, London, 1999, 225 p.
10. Зотов И.А., Костенко В.А. Алгоритм распределения ресурсов в центрах обработки данных с единым планировщиком для различных типов ресурсов // Известия РАН. Теория и системы управления. 2015. № 1. С. 61.
11. Ворожцов А.С., Тутова H.B. Алгоритм решения задач: оптимизации распределения ресурсов центров обработки данных в сети Интернет // T-Comm: Телекоммуникации и транспорт. 2009. № 2. С. 144 - 146.
12. Ворожцов А.С., Тутова Н.В., Тутов А.В. Методика оптимального распределения виртуальных серверов в центрах обработки данных // T-Comm: Телекоммуникации и транспорт. 2015. № 7. С. 5 - 10.
13. Малышев В.В. Методы оптимизации в задачах системного анализа и управления. - М: Изд-во МАИ-ПРИНТ, 2010. - 440 с.
14. Емельянов А.А., Малышев В.В., Смольянинов Ю.А., Старков А.В. Формализация задачи оперативного планирования целевого функционирования разнотипных космических аппаратов дистанционного зондирования Земли // Труды МАИ. 2017. № 96. URL: http://trudymai.ru/published.php?ID=85921
15. Дарнопых В.В. Автоматизация параметрического анализа целевого функцио-нирования космических систем дистанционного зондирования Земли // Труды МАИ. 2011. № 47. URL: http://trudymai.ru/published.php?ID=26960
16. Вдовин П.М., Зотов И.А., Костенко В.А., Плакунов А.В., Смелянский Р.Л. Сравнение различных подходов к распределению ресурсов в ЦОД // Известия РАН. Теория и системы управления. 2014. № 5. С. 71 - 83.
17. D. Niu, B. Li. An efficient distributed algorithm for resource allocation in large-scale coupled systems // Proceedings IEEE, INFOCOM 2013, 2013, pp. 1501 - 1509.
18. Малышев В.В., Старков А.В., Толстенков П.С., Фёдоров А.В. Методы поддержания параметров структуры высокоорбитальной группировки космических аппаратов для компенсации ухудшения её функциональных возможностей // Космонавтика и ракетостроение. 2017. № 2 (95). С. 37 - 45.
19. Malyshev V.V., Starkov A.V., Fedorov A.V. Formation Keeping Strategy for a Quasi-Zenith GLONASS Complement // Advances in the Astronautical Sciences, 2017, vol. 161, pp. 1129 - 1140.
20. Малышев В.В., Старков А.В., Федоров А.В. Методика разработки программно-моделирующего комплекса для отработки средств проведения динамических операций космических аппаратов // Труды МАИ. 2012. № 57. URL: http: //trudy.mai. ru/published.php?ID=30798
