CC BY
18
9. Стратегия развития железнодорожного транспорта в РФ до 2030г., утв. распоряжением Правительства РФ от 17.06.2008.
ОПТИМИЗАЦИЯ АРХИТЕКТУРЫ ВИРТУАЛЬНЫХ ВЫЧИСЛИТЕЛЬНЫХ МАШИН В РАСПРЕДЕЛЕННЫХ СИСТЕМАХ ОБРАБОТКИ ДАННЫХ
Рассматривается выбор архитектуры совокупности виртуальных вычислительных машин с позиций повышения эффективности обработки данных при решении потока независимых задач с учетом предлагаемых провайдерами вычислительных ресурсов. Решения формируются в результате оптимизации по критериям минимум затрат ресурсов, минимум времени решения с учетом ожидания и времени инициализации.
Ключевые слова: виртуальные вычислительные машины, архитектура, задачи обработки данных, математическая модель, оптимизация, критерии.
S.V. Shevchenko
National technical university "Kharkiv Polytechnical Institute"
OPTIMIZATION OF ARCHITECTURE OF VIRTUAL COMPUTING MACHINES IN DISTRIBUTED DATA PROCESSING SYSTEMS
The choice of architecture of a set of virtual computers is considered from the standpoint of increasing the efficiency of data processing when solving the flow of independent tasks, taking into account the computing resources offered by the providers. Decisions are formed as a result of optimization by the criteria of minimum resource expenditures, minimum solution time, taking into account expectations and initialization time.
Keywords: virtual computers, architecture, data processing problems, mathematical model, optimization, criteria.
1. Условия выбора архитектуры виртуальных вычислительных машин
Целью работы является формирование требуемой архитектуры совокупности виртуальных вычислительных машин для обработки данных выбранной группы задач с использованием за-
Сведения об авторах
Сергей Александрович Савушкин
канд. физ.-мат. наук, ст. науч. сотр., вед. науч. сотр.
Институт проблем транспорта
им. Н. С. Соломенко РАН
Росссия, Москва
Эл. почта: ssavushkin@mail.ru
Владимир Викторович Цыганов
д-р. техн. наук, проф., зав. отделом
Институт проблем транспорта
им. Н. С Соломенко РАН
Росссия, Москва
Эл. почта: v188958@akado.ru
Владимир Григорьевич Горбунов
нач. СКБ
ЭЗАНРАН
Росссия, Москва
Эл. почта: gorbunov@ezan.ac.ru,
Information about authors
Sergey Alexandrovich Savushkin
Candidate of Physics and Mathematics,
Senior Researcher
Institute of Transport Problems
named after N.S. Solomenko RAS
Russia, Moscow
E-mail: ssavushkin@mail.ru
Vladimir Victorovich Tsyganov
Doctor of Tech. Sciences, Prof., Head. Department
Institute of Transport Problems named
after N.S. Solomenko RAS
Russia, Moscow
E-mail: v188958@akado.ru
Vladimir Grigorievich Gorbunov
Head of SCB
Experimental Plant Scientific Instrument RAS
Russia, Moscow
E-mail: gorbunov@ezan.ac.ru
УДК 004.272.26: 004.272.34: 519.876.5 ГРНТИ: 50:33:04
С. В. Шевченко
Национальный технический университет «Харьковский политехнический институт»
данных программных модулей современными компьютерными системами с позиций ряда критериев, зависящих от предметной области применения. Одним из основных критериев является суммарная производительность системы обработки данных, зависящая от характеристик обрабатываемых задач, от характеристик и величины ресурсов, предоставляемых провайдерами виртуальных машин. В качестве других критериев рассматриваются также стоимость инициализации, обработки, обмена данными, а также время вычислений, возможные потери, вызванные ожиданием предоставления ресурсов и др.
Суть обсуждаемой проблемы заключается в следующем. Рассматривается определение архитектуры автоматизированной системы обработки данных, которая поддерживает функции управления некоторым объектом. Для этих целей используется набор задач, решение которых обеспечивается программными модулями, выполняющими функции обработки данных, и процедуры ввода-вывода.
Каждая задача характеризуется набором характеристик и требований к вычислительным ресурсам, которые связаны с соответствующими программными модулями, выполняющими решение.
В составе рассматриваемых характеристик задач используются следующие величины:
- трудоемкость решения;
- требуемый объем оперативной памяти;
- требуемый объем внешней памяти;
- интенсивность инициализации;
- приоритет;
- допустимое время решения;
- интенсивность ввода/вывода;
- объем ввода/вывода;
Благодаря значительным успехам в области разработки новых и использования существующих компьютерных и телекоммуникационных технологий, повышения их производительности, качества и надежности, в настоящее время наблюдается превалирующее внимание разработчиков информационных компьютерных систем к платформам виртуальных вычислительных машин (ВМ) с арендой распределенных вычислительных мощностей, построенных в соответствии с потребностями как массового применения, отвечающего широкому спектру решаемых задач, так и формирования индивидуальных виртуальных вычислительных систем, выполняющих обработку данных в узкой предметной области заказчиков.
Предлагаемые провайдерами вычислительных услуг варианты ВМ отличаются архитектурой, техническими характеристиками, надежностью, ресурсами, их доступностью, стоимостью доступа и использования [1] - [3].
Типичная архитектура ВМ, предлагаемой провайдерами массовому заказчику, имеет следующий вид, рис.1 [4].
Приложение #1
Системные
файлы и библиотеки
Гостевая ОС
Приложение #2
Системные
файлы и библиотеки
Гостевая ОС
Приложение #3
Системные
файлы и библиотеки
Гостевая ОС
Гипервизор
ОС хоста
Сервер
Рис. 1 - Архитектура виртуальной машины
Виртуальная машина
Для идентификации характеристик архитектуры применяются следующие величины:
- технология производства;
- производительность или тактовая частота процессора;
- количество ядер;
- объем оперативной памяти;
- объем памяти внешних запоминающих устройств;
- объем оперативной памяти для ОС;
- время инициализации ВМ;
- количество каналов ввода/вывода;
- пропускная способность каналов ввода/вывода;
- стоимость использования процессорного времени;
- стоимость использования единицы оперативной памяти;
- стоимость использования устройства внешней памяти;
- стоимость передачи информации по каналу ввода/вывода.
Обработка потоков зависимых задач может быть рассмотрена с дифференциацией уровня зависимости и организацией циклов повторной входимости с образованием как новых решений существующих задач, так и полностью новых задач, представляемых в вычислительных системах, использующих технологии параллельной обработки на аппаратурном и системном уровнях, дополняющих инициализацию первоначального набора задач новыми модулями [5].
Выбор архитектуры вычислительной системы для выполнения заданного набора задач в течение рассматриваемого промежутка времени Т может базироваться на использовании следующих положений.
Требуемые системные характеристики архитектуры могут быть найдены с позиций значений компонент векторного критерия эффективности, включающих:
- максимальную эффективность выполнения процессов, необходимых для проведения вычислений,
- минимальную длительность выполнения процессов обработки данных,
- минимальную стоимость использования вычислительных ресурсов,
- минимальное потребление внешних ресурсов, обеспечивающих процессы обработки данных;
- максимальную надежность вычислений и др.
Состав критериев и их уровни значимости могут изменяться в зависимости от условий и содержания задач управления.
2. Математическое описание задачи
Предположим, что для выбора архитектуры вычислительной системы доступны ресурсы, позволяющие реализовать заданные процессы обработки данных.
Тогда может быть рассмотрена следующая задача. Будем считать, что в произвольный момент времени t е Т инициируется выполнение некоторой совокупности задач . Для каждой
задачи i е I известны потребности в вычислительных ресурсах СОг , включая трудоемкость решения, потребность ресурсах устройств памяти, каналов передачи данных, ограничения по времени решения.
Пусть Vt е Т известно: Jt - множество вариантов архитектуры доступных устройств обработки данных от провайдера. Для каждого ] е Jt заданы технические характеристики устройств: Р - типы устройств для рассматриваемой предметной области, Я - виды вычислительных ресурсов, |Л^ | - стоимости устройств, р е Р^, |Врг | - значения вычислительных ресурсов г-го типа устройств, г е Я , ^рг (о^ - функции, определяющие стоимости использования вычислительных ресурсов при обработке данных объемом О ^, |С^ стоимости использования каналов связи при решении ^й задачи]-м устройством.
Тогда задачу выбора топологии устройства обработки данных можно представить в следующем виде.
Необходимо выбрать типы устройств, определить связи между источниками данных задач и устройствами обработки, обеспечивающих выполнение поступающих задач с учетом значений критериев эффективности.
Обозначим искомые переменные е Т: х^ е {0,1}, 7 е , ] е Jt, значения которых определяют использование при решении 7-й задачи вычислительных ресурсов ]-го устройства обработки, а также переменные у], у' е {0,1}, р е Р](, ] е J\, которые определяют, будет
ли в качестве ]-го устройства обработки использоваться р-й тип варианта устройства или его использование прекращается.
Критерии математической модели задачи могут быть представлены в следующей форме.
Архитектура системы обработки с максимальной эффективностью может быть определена
минимальными затратами ресурсов на выполнение заданного объема работ
( ( \ \
огг
(1)
тт 5 = Ц IС]Х] + I Лруу] + Ц8рг I«, [ - У
tеT ]еJ ^ 7е!, реРр реР^теК ^ 7е1, ^
Система обработки с минимальным временем пребывания ^ (обработки и ожидания обработки) задач в системе. Данные системы могут быть реализованы как за счет рациональной организации процессов обслуживания, так и за счет выбора более производительных и дорогостоящих устройств обработки, размещения, хранения и обмена данными. Подобные системы при определенных условиях могут соответствовать системам с максимальной производительностью. Время обработки и время ожидания могут быть представлены в соответствии с положениями
теории массового обслуживания зависимостями [Л],к],/) и в°ж [Л],к],/) , где Х-- интенсивность входного потока, к] - количество устройств обработки, / - интенсивность потока
обслуживания. Следует отметить, что аналитические выражения для этих зависимостей известны лишь для ограниченного числа условий и законов распределений. Имеем
тшъ = I (] Л,к3,/]) + ] Л,кз,/])) (2)
е
Практическое применение данного критерия для оценки эффективности систем массового обслуживания может быть целесообразным в рамках имитационного моделирования с последующей аппроксимацией результатов для оперативного применения. В качестве аппроксимирующих функций выбирались нелинейные функции, учитывающие основные тенденции и зависимости.
В процессе формирования эффективных решений могут быть рассмотрены и другие критерии, определяемые спецификой предметной области.
Область допустимых решений формируется с учетом требований задачи и доступных ресурсов, Vt е Т :
I хт = 1, 7 е I,, (3) 1а1Гхш I Врг у%), ]е J, т е К, (4)
7е1т т=1 реР]т
I у] * 1, ] е ], (5) I у] * 1, ] е ], (6)
реР] реР]
у], у] еЖ(, р е Рп, ] е ], (7) хщ, у^ е{0,1}, 7 е , р е Рр, ] е Jt. (8)
Здесь множество содержит допустимые значения переменных у™, , определяя
связь предыдущего и последующих состояний выбранных устройств. Оптимизационная задача включает критерий (1) и ограничения (3)-(8). Такая модель представляет задачу дискретного программирования с булевыми переменными класса задач размещения. В силу целочисленности всех переменных данная задача является NP-полной. Для ее решения могут использоваться эффективные алгоритмы, предлагаемые в работе [5, с. 68].
Рекомендациями развития работы можно считать применение метода уступок при формировании множества эффективных решений задачи на основе результатов расчетов по наборам
данных с изменяемыми в пределах допустимых значений показателей и характеристик вычислительных ресурсов выбранных вариантов устройств обработки данных. В результате этих действий может быть построена совокупность решений, приемлемое решение среди которых выбирает или ЛПР, или программный модуль на основании поставленных целей, условий их достижения, доступных средств и сопоставления критериев оптимальности.
Выводы
Оптимизация архитектуры виртуальной системы обработки данных является основным источником повышения эффективности вычислений произвольного назначения, обеспечивая рост производительности, снижение стоимости вычислений, повышение надежности и экономичности использования. Применение распределения поступающих задач между устройствами обработки с целью эффективного использования доступных ресурсов с учетом их состояния позволяет формировать множество эффективных решений, использование которого приводит к повышению качества процессов обработки данных и использования вычислительной системы.
Автор считает, что в данной работе новыми являются следующие положения и результаты. Получили дальнейшее развитие концепции выбора архитектуры виртуальных машин в составе вычислительных систем. Предложен подход к построению математических моделей, позволяющий эффективно формировать архитектуру вычислительной системы в соответствии с доступными внешними ресурсами и полноценным использованием внутренних ресурсов. Предложен подход к формированию множества эффективных решений, позволяющий выбирать компромиссный вариант в соответствии с предпочтениями ЛПР или целевыми установками модуля супервизора.
Литература
1. Amazon EC2. Режим доступа: https://aws.amazon.com/ru/ec2/. Дата обращения: 15.04.2019.
2. Основы облачных вычислений. Режим доступа: https://www.ibm.com/developerworks/ru/library/cl-cloudintro/index.html. Дата обращения: 15.04.2019.
3. Google Cloud. . Режим доступа: https://cloud.google.com. Дата обращения: 15.04.2019.
4. Подорожный И.В., Светличный А.Н., Подлеснов А.В. Введение в контейнеры, виртуальные машины и docker // Молодой ученый. 2016. № 19. С. 49-53.
- URL https://moluch.ru/archive/123/33873/ (дата обращения: 16.04.2019).
5. Shevchenko S.V. Optimization of Structure and Development of Production Systems / Discrete Structural Optimization. IUTAM Symposium. - Zakopane (Poland). - Berlin Heidelberg : Springer-Verlag, 1994.
Сведения об авторе
Сергей Васильевич Шевченко
Канд. техн. наук
Проф. каф. программной инженерии и информационных технологий управления НТУ «Харьковский политехнический институт» Украина, Харьков
Эл. почта: s.v.shevchenko55@gmail.com
Information about author
Sergey Vasilijevitch Shevchenko
PhD in Technological Sciences
professor of department ofprogram engineering and
information technologies of management
Kharkiv Polytechnical Institute
Ukraine, Kharkiv
E-mail: s.v.shevchenko55@gmail.com
