CC BY
26
УДК 004.272.26: 004.272.34: 519.876.5
ОПТИМИЗАЦИЯ РАСПРЕДЕЛЕННЫХ ВЫЧИСЛЕНИЙ В СИСТЕМАХ ПАРАЛЛЕЛЬНОЙ ОБРАБОТКИ ДАННЫХ
Сергей Васильевич Шевченко, канд. техн. наук, проф. каф. программной инженерии и
информационных технологий управления E-mail: shev@kpi.kharkov.ua, s.v.shevchenko55@gmail.com Национальный технический университет «Харьковский политехнический институт»
www.kpi.kharkiv.edu/asu
Рассматриваются вопросы повышения эффективности параллельной обработки данных при решении потока независимых задач с учетом наличия и состояния вычислительных ресурсов. Варианты решений основаны на использовании результатов оптимизации с критерием минимум затрат ресурсов, сопоставляемые с решениями по критерию минимум потерь времени в процессе решения и ожидания.
Ключевые слова: параллельная обработка, топология, устройства, задачи, математическая модель, оптимизация, критерии.
Целью работы является повышение эффективности организации параллельной обработки данных современными компьютерными системами с позиций различных критериев, зависящих от области применения. Основным критерием можно считать производительность обработки данных, которая зависит от особенностей потока поступающих задач и от организации обработки, другими критериями могут быть стоимость обработки, надежность вычислений и др.
Суть обсуждаемой проблемы заключается в следующем.
Если рассматриваемая ситуация характеризуется обработкой потока независимых задач, то в простейшем случае можно считать, что каждая компьютерная система представлена многоканальной Шевченко C.B. СМО, в которой
Поступление /.
Очередь си-ре ера г
КЛЕИВ-
Очередь сервера 2 il N
КЛЕШИ—
Сервер 1
Сервер 2
СчереНь сервера N
X N
Р
каждый канал представляет собой отдельное устройство обработки данных со своей очередью задач, рис.1. Вместо серверов могут рассматриваться отдельные процессоры в составе многопроцессорных вычислительных комплексов, отдельные ядра микропроцессоров с общей и локальной кэш-памятью.
Обработка потоков зависимых задач может быть рассмотрена с дифференциацией уровня зависимости и организацией циклов повторной входимости с образованием как новых этапов решений существующих задач, так и полностью новых задач,
представляемых в вычислительных системах, использующих технологии параллельной обработки на аппаратурном и системном уровнях с организацией и применением многопроцессорных вычислитель-
CtpbtpJV
Рис. 1. Многоканальная система обработки данных
izp
izb
Узел обработки
Прием
данных
Публикация
:
результатов
Очередь обработки
Чтение
Передача
результатов
Диспетчер данных
Рис. 2. Архитектура ГРИД-приложений в среде облачных технологий
ных систем, архитектуры многоядерных процессоров, технологии гиперпотоков, а также технологий grid conputing и cloud computing, рис. 2.
Система
Поток Поток
Ядро
Поток Поток
Ядро
Процессор
Поток Поток
Ядро
Поток Поток
Ядро
Процессор
Использование для параллельной обработки устройств в составе процессора представлено архитектурой вычислительной системы, аппаратурно предоставляющей ресурсы для независимой параллельной обработки поступающих задач в виде блоков команд программных модулей, выполнение которых инициируется на основе логики предметной области и выделенных условий, рис.3.
Совокупность доступных средств обработки может интерпретироваться как сеть многоканальных и/или многоэтапных систем массового обслуживания с очередями, для которых поступающий на обработку поток задач, правила его распределение и организация самих процессов обслуживания могут быть использованы для формирования эффективных процедур обработки и использования доступных ресурсов.
Как следует из представленных практических примеров вычислительных процессов, существующих на различных уровнях процедур обработки данных, а также управления процессами решения, для повышения их эффективности актуальным является рассмотрение решения задачи организации параллельной обработки.
На основе имеющихся данных необходимо выбрать топологию вычислительного устройства с определением количества логических процессоров и их типов.
Система должна обеспечить решение поступающей совокупности задач с учетом значений векторного критерия эффективности с компонентами: минимальная стоимость вычислений, минимальное время выполнения процессов решения, минимальная стоимость используемых вычислительных ресурсов, минимальное потребление электроэнергии, максимальная надежность вычислений и др. В зависимости от рассматриваемой предметной области состав критериев и их уровни значимости могут варьироваться.
Будем считать, что для построения ядра вычислительной системы на различных уровнях от средств обработки с выбором микро-архитектуры до систем с макро-архитектурой облачных технологий вычислений (Cloud computing) доступны вычислительные ресурсы, позволяющие реализовать заданные процессы обработки данных. При этом средства обработки могут быть представлены логическими процессорами различных типов в составе микро-архитектуры процессора с определенными техническими показателями и характеристиками, включая производительность, стоимость, величины локальных и общих вычислительных ресурсов, их стоимость и стоимость использования, показатели энергопотребления, характеристики надежности и др., а также виртуальными вычислительными машинами и их ресурсами с аналогичными технико-экономическими характеристиками и параметрами, предоставляемыми провайдерами облачных вычислений.
Тогда может быть рассмотрена следующая задача. Будем считать, что в произвольный момент времени t е T инициируется выполнение некоторой совокупности задач It.
Для каждой задачи i е It известны потребности в вычислительных ресурсах 0)ir, включая
трудоемкость решения, потребность в каналах передачи данных и взаимодействия, ограничения по времени решения, требуемая величина памяти для размещения программного кода обработки, исходных и промежуточных данных, а также результатов вычислений.
Пусть Vt е T известно: Jt - множество вариантов размещения доступных устройств обработки данных. Для каждого j е Jt заданы технические показатели и характеристики устройств обработки данных: P.t - типы устройств для рассматри-ваемой
Рис. 3. Архитектура системы с 2-х ядерными процессорами с поддержкой гиперпотоков
предметной области (логические процессоры, физические серверы, виртуальные вычислительные машины и др.), R - виды вычислительных ресурсов, {Aру.}- стоимости
устройств, р е Pjt, |Bpr }- значения вычислительных ресурсов г-го типа устройств, г е R , ^рг (оу )} - функции, определяющие стоимости использования вычислительных ресурсов (функционирования, энергопотребления) при обработке данных объемом О у, {Су }
- стоимости каналов связи 1-й задачи иу'-го устройства.
Тогда задачу выбора топологии устройства обработки данных можно представить в следующем виде.
Необходимо выбрать типы устройств обработки, определить связи между источниками данных задач и устройствами обработки, обеспечивающих выполнение поступающих задач с учетом значений критериев эффективности.
Обозначим искомые переменные Vt е Т : хш е {0,1}, I е , ' е Jt, значения которых определяют использование или неиспользование при решении 1-й задачи вычислительных ресурсову'-го устройства обработки, а также переменные урр е {0,1}, р е Р](, ' е Jt
, которые определяют, будет ли использоваться в качестве у'-го устройства обработки р-й тип вариантов построения.
Тогда критерии математической модели задачи могут быть представлены в следующей форме.
1. Система обработки с минимальной стоимостью
( ( ( \\ \
minst = I ICjxm + I apj +I^ I^x
jej ^ ieit pepj, ^ rer \ ieit j J j
(1)
2. Система обработки с минимальным временем rt пребывания (обработки и ожидания) заявок в системе. Данные системы могут быть реализованы как за счет рациональной организации процессов обслуживания, так и за счет выбора более производительных и дорогостоящих устройств обработки, размещения, хранения и взаимодействия. Подобные системы при определенных условиях могут соответствовать системам с максимальной производительностью. Время обработки и время ожидания могут быть представлены в соответствии с положениями теории массового обслуживания зависимостями в°бр (, kj, /) и 0°ж (, kj, /), где Xj - интенсивность входного потока, kj - количество каналов обслуживания (устройств обработки), / - интенсивность потока обслуживания. Аналитические выражения этих зависимостей известны лишь для ограниченного числа условий и законов распределений.
Имеем
min r = I ( (,kj, /j ) + j (,kj, Mj)) (2)
JeJ
Как показывает опыт практического применения данного критерия для его оценки целесообразным может быть использование имитационного моделирования с последующей аппроксимацией результатов для оперативного применения. В качестве аппроксимирующих функций выбирались нелинейные функции, учитывающие основные тенденции зависимости.
В процессе формирования эффективных решений могут быть рассмотрены и другие критерии, определяемые спецификой предметной области [1, с. 59].
Область допустимых решений формируется с учетом требований задачи и доступных ресурсов, например, Vt e T :
X = 1, i e It, (3) <X Bpryp]t, j e J, r e Л, (3)
jeJt ieIt pepjt
X ypjt < 1, j e j, (5) Xjt, ypjt e(0,1}, i e ^, p e Pjt, j e Jt. (4)
PePjt
Оптимизационная задача включает критерий (1) и ограничения (3) и (4). Такая модель представляет задачу дискретного программирования с булевыми переменными класса задач размещения. В силу целочисленности всех переменных данная задача является NP-полной. Для ее решения могут использоваться эффективные алгоритмы, предлагаемые в работе [2, с. 68].
Для оперативного управления выполнением обработки потока задач с динамическим распределением их между параллельно работающими вычислительными устройствами с различной топологией и с учетом изменения их состояний могут быть применены процедуры определения эффективных решений с использованием подходов, рассмотренных в составе систем smart-grid в электроэнергетике [3, с. 47].
Рекомендациями при построении множества эффективных решений рассматриваемой задачи с учетом значений выделенных критериев, а также их противоречивости можно считать применение метода уступок с использованием в качестве элементов множества результаты расчетов по наборам данных вариантов устройств обработки с изменяемыми в пределах допустимых значений технико-экономическими показателями и характеристиками вычислительных ресурсов. В результате этих действий может быть построена совокупность решений, приемлемое решение среди которых в зависимости от уровня топологий системы выбирает или ЛПР, или супервизор системы на основании поставленных целей, условий достижения, доступных средств и сопоставления критериев оптимальности.
Выводы. Эффективная организация параллельной обработки данных является основным источником всех критериев качества вычислительных систем произвольного назначения, включая рост производительности, снижение стоимости вычислений, повышение надежности и экономичности использования. Применение для этих целей оперативного распределения поступающих задач между устройствами обработки с позиций максимального использования доступных ресурсов, учетом их состояния и параметров позволяет формировать множество эффективных решений, использование которого приводит к повышению качества обработки данных и использования вычислительной системы.
Автор считает, что в данной работе новыми являются следующие положения и результаты. Получили дальнейшее развитие концепции организации параллельной обработки данных в составе вычислительных систем различной архитектуры и топологии. Предложен подход к построению математических моделей, позволяющих эффективно формировать топологию и архитектуру вычислительной системы в соответствии с выделяемыми внешними ресурсами и использовать внутренние ресурсы вычислительной системы. Предложен подход к формированию множества эффективных решений, позволяющих выбрать компромиссное решение в соответствии с предпочтениями ЛПР или целевыми установками супервизора.
Литература
1. Шевченко С.В. Концептуальный подход к разработке микропроцессорной системы управления распределёнными технологическими процессами / Электроника и связь. Тем. вып. «Электроника и нано-технологии». - Киев : НТУ Украины «КПИ», 2009. - Ч.1.
2. Шевченко С.В. О формировании состава задач интеллектуальных систем управления в электроэнергетике / Вюник НТУ «ХП1». Серiя: Системний аналiз, управлшня та шформацшш технологи. - Харюв : НТУ «ХП1», 2016. - № 59 (1168).
3. Shevchenko S.V. Optimization of Structure and Development of Production Systems / Discrete Structural Optimization. IUTAM Symposium. - Zakopane (Poland). - Berlin Heidelberg: Springer-Verlag, 1994.
Optimization of the distributed calculations in systems parallel data processing
Shevchenko S.V. PhD in Technological Sciences, professor of department of program engineering and information technologies of management National technical university "KharkivPolytechnicalInstitute"
Questions of increase in efficiency of parallel data processing at the solution of a stream of independent tasks taking into account existence and a condition of computing resources are considered. Versions of decisions are based on use of results of optimization with criterion of the minimum of expenses of resources compared with decisions on criterion of the minimum of losses of time in the course of the decision and expectation.
Keywords: parallel processing, topology, devices, tasks, mathematical model, optimization, criteria.
УДК 579.
ОЦЕНКА ЭФФЕКТИВНОСТИ ВЗАИМОДЕИСТВИЯ МИКРООРГАНИЗМОВ С НЕФТЬЮ
Янина Вячеславовна Саванина, канд. биол. наук, науч. сотр.
E-mail: v.savanin@gmail.com Евгений Львович Барский, канд. биол. наук, вед. науч. сотр. E-mail: gene_b@mail.ru Галина Александровна Дольникова, науч. сотр. Елена Сергеевна Лобакова, д-р биол. наук, проф.
E-mail: elena.lobakova@gmail.com Биологический факультет Московского государственного университета
имени М.В. Ломоносова 119899, Москва, Ленинские горы, д.1, корп.12
Рассматривается возможность контроля взаимодействия микроорганизмов с нефтью с использованием метода спектроскопии внутреннего отражения в режиме тонкой пленки и массивного образца. Проведено сравнение химического и спектрального метода анализа остаточного содержания нефти. Представлены сравнительные характеристики нефтяных загрязнений окружающей среды для различных сообществ микроорганизмов.
Ключевые слова: нефтяное загрязнение, микробиологическая утилизация углеводородов, ассоциации микроорганизмов, водная токсикология, биотестирование, спектроскопия внутреннего отражения
В связи с возрастающей антропогенной нагрузкой на природные экосистемы необходима разработка методов оперативного токсикологического контроля водной среды с
неопределенным или сложным составом, включая загрязнения продуктами нефтедобычи. Для токсикологической характеристики водной среды вблизи источников загрязнения могут использоваться методы биотестирования. Активность отдельно взятой однородной популяции микроорганизмов, находящейся в загрязняемой среде, можно охарактеризовать с помощью ИК-спектроскопии внутрен-
