CC BY
146
Научный журнал КубГАУ, №103(09), 2014 года
1
УДК 004.652.4
UDC 004.652.4
МЕТОДИКИ ОПТИМАЛЬНОГО ВЫБОРА КОНФИГУРАЦИИ И СТРУКТУРИРОВАНИЯ РАСПРЕДЕЛЕННОЙ ИНФОРМАЦИОННОЙ СИСТЕМЫ СБОРА И ХРАНЕНИЯ ХРОНОЛОГИЧЕСКИХ ДАННЫХ С НЕСКОЛЬКИМИ ЦЕНТРАМИ ОБРАБОТКИ ДАННЫХ
Лаптев Владимир Николаевич к.т.н., доцент
ФГБОУ «Кубанский государственный аграрный университет», 350044, Россия, г. Краснодар, ул. Калинина 15, E-mail: mail@kubsau. ru
Сопильняк Юрий Николаевич к. пед. н.
ФКБОУ «Краснодарский университет МВД РФ» Краснодар, Россия, 500000, Россия, г. Краснодар, Ярославского 128
THE TECHNIQUES FOR OPTIMAL CONFIGURATION SELECTION AND STRUCTURING OF DISTRIBUTED INFORMATION SYSTEMS FOR COLLECTING AND STORING HISTORICAL DATA FROM MULTIPLE DATA CENTERS
Laptev Vladimir Nikolaevich Cand.Tech.Sci., associate professor Kuban State Agricultural university, 500044, Russia, Krasnodar, Kalinin st., 13, E-mail: mail@kubsau.ru
Sopilnyak Yuri Nikolaevich Cand.Ped.Sci.
Krasnodar University of Ministry of internal Affairs of .the Russian Federation, 500000 Russia, Krasnodar, Yaroslavskyst st. 128. E-mail: post@krdu-mvd.ru
Дьяченко Роман Александрович к. т.н, доцент
Dyachenko Roman Aleksandrovich Cand.Tech.Sci., associate professor
Багдасарян Рафаэль Хачикович аспирант
ФГБОУ «Кубанский государственный технологический университет»,350007, Россия, г Краснодар, ул.Московская 2
Bagdasaryan Rafael Khachikovich postgraduate student
Kuban State Technological University, 500072 Russia, Krasnodar,. Moskovskaya st, 2
В статье рассматриваются методики оптимального выбора конфигурации и структурирования распределенной информационной системы сбора и хранения хронологических данных с несколькими центрами обработки данных
The article discusses the methodology of optimal configuration selection and structuring of distributed information systems for collecting and storing historical data from multiple data centers
Ключевые слова: СИСТЕМА СБОРА И ХРАНЕНИЯKeywords: COLLECTION AND STORAGE, ДАННЫХ, ОПТИМАЛЬНЫЙ ВЫБОР, ЦЕНТР OPTIMAL CHOICE, DATA PROCESSING CENTER
ОБРАБОТКИ ДАННЫХ
Введение
В настоящее время широко применяются информационные системы сбора и хранения хронологических данных.
В частности, такие системы применяются в сфере ЖКХ, информационных системах газораспределения, информационных системах энергокластеров и в других областях.
Построение таких систем сопровождается сложными процессами проектирования, оценки работоспособности решения, целесообразности его применения для каждого конкретного случая, а также управленческими
http://ej.kubagro.ru/2014/09/pdf/87.pdf
Научный журнал КубГАУ, №103(09), 2014 года
2
решениями, связанными с выбором из предложенных возможных конфигураций системы.
Описанные сложности создают необходимость применения проверенных методик, предоставляющих инструменты для проектирования и внедрения таких систем, позволяющих получить наиболее приемлемую конфигурацию конечной системы, удовлетворяющую технические, временные и финансовые ограничения.
Таким образом, разработка методики оптимального выбора конфигурации и структурирования распределенной информационной системы сбора и хранения хронологических данных с несколькими центрами обработки данных, являются важной научно-практической задачей [1-3].
1. Методика распределения центров сбора данных по центрам обработки данных для однотипных каналов связи
Задача распределения центров сбора данных по центрам обработки данных для однотипных каналов связи сводится к распределению центров сбора данных по центрам обработки данных в условиях минимизации стоимости подключения и ограничениях на время сбора, передачи, хранения данных и надежность.
Таким образом, задача распределения центров сбора данных (ЦСД) по центрам обработки данных (ЦОД) формулируется в виде задачи минимизации затрат
min
(1)
при ограничениях:
1) а однократность включения j-ого ЦСД к ЦОД:
п
i=i
(2)
http://ej.kubagro.ru/2014/09/pdf/87.pdf
Научный журнал КубГАУ, №103(09), 2014 года
3
2) на обязательность использования всех центров обработки данных:
т
VI : ^ %ij ^ 0:
J=1 (3)
3) на время сбора, передачи и записи темпоральной информации в
хранилище данных [3]: п
J ' ^ ' ^ij— ^majt lj
1 = 1
(4)
n
где tmax - максимально допустимое время передачи информации от ЦСД к ЦОД. При поддержке ЦОД параллельной обработки запросов;
4) на надежность канала связи:
(5)
W 1 Vij ' ^ij — Pmin lj '
где pmin - требуемое значение1 традежности канала передачи учетной
информации.
Исходными данными для решения задачи являются матрицы:
1) матрица затрат на размещение центров сбора и обработки данных
С =
Lii
"ші
i_n
'з n
)
(6)
mn
где Cj - затраты на подключение j-ого ЦСД к i-му ЦОД (включая затраты на проектирование, прокладку канала связи, пуско-наладочные работы, оплату персонала), i^I, I = 1,...,n - множество индексов (номеров) ЦОД, j^J, J = 1,...,m - множество индексов (номеров) ЦСД;
2) матрица времени сбора, передачи и записи данных
Т =
1П
-in
- mn
(7)
http://ej.kubagro.ru/2014/09/pdf/87.pdf
Научный журнал КубГАУ, №103(09), 2014 года
4
где tj - время сбора, передачи и записи данных при передачи учетной информации от j-ого ЦСД к i-му ЦОД;
3) матрица вероятностей безотказной работы каналов связи
где pij - вероятность безотказной работы канала связи между j-м ЦСД к i-м ЦОД.
При формировании матрицы затрат на подключение j-ого ЦСД к i-му ЦОД учитываются следующие показатели: Л1 - матрица стоимостей проектных работ;
Л - матрица стоимостей коммуникационного оборудования, устанавливаемого на ЦСД; Л - матрица стоимостей коммуникационного оборудования, устанавливаемого на ЦОД; Л - матрица стоимостей оборудования канала связи между j-м ЦСД и i-м ЦОД; Л4 - матрица стоимостей технических работ по установке коммуникационного оборудования и прокладке канала связи и Л5 - матрица стоимостей пуско-наладочных работ. Капитальные затраты на подключение j-ого ЦСД к i-му ЦОД вычисляются следующим образом:
Решением поставленной задачи минимизации является бинарная матрица:
(8)
(9)
Капитальные затраты на внедрение системы сбора и хранения
данных:
п , m
п , т
)
А =
(10)
(11)
http://ej.kubagro.ru/2014/09/pdf/87.pdf
Научный журнал КубГАУ, №103(09), 2014 года
5
где Xij
Х =
т—1 ... хт
*2i ... II ы з
*mi ■■■ *mn
1 - если j-й ЦСД подключен к i-му ЦОД их*.
0 в противном
случае.
Поставленная задача минимизации может быть решена как методом перебора всех допустимых значений переменной X, так и, в случае большой размерности, другими методами нелинейной целочисленной оптимизации. Методика, позволяющая решить задачу (1), состоит из следующих
этапов:
1) формирование множества I (на основе схемы электроснабжения энергокластера);
2) формирование множества J (аналогично на основе схемы электроснабжения);
3) сбор стоимостной информации, расчет и формирование матрицы C;
4) формирование матрицы T (в случае если отсутствует возможность проведения реальных расчетов, можно использовать имитационную модель, описанную в главе 1);
5) определение максимально допустимого времени передачи информации от ЦСД к ЦОД tmaX;
6) формирование матрицы P (описание одного из методов приведено в главе 3);
7) определение требуемого значения надежности канала передачи учетной информацииртіп;
8) решение задачи (4.1) методами целочисленной оптимизации.
Системно-аналитическое описание методики по технологии SADT
представлено на IDEF-0 диаграмме 1.
http://ej.kubagro.ru/2014/09/pdf/87.pdf
Научный журнал КубГАУ, №103(09), 2014 года
6
Рисунок 1 - IDEF-0 диаграмма методики конфигурации распределенной информационной системы с несколькими центрами
обработки данных
На основе данной методики было разработано программное обеспечение, позволяющее автоматизировать процесс сбора данных, расчет матриц CTP и решения оптимизационной задачи (1).
Рисунок 2 - Интерфейс программы вычисления оптимального распределения ЦСД к ЦОД
http://ej.kubagro.ru/2014/09/pdf/87.pdf
Научный журнал КубГАУ, №103(09), 2014 года
7
2. Методика распределения центров сбора данных по центрам обработки данных с использованием нескольких типов каналов связи
Рассмотрим задачу распределения центров сбора данных по центрам обработки данных в условиях минимизации стоимости подключения и ограничениях на время сбора, передачи, хранения данных и надежность, но с возможностью применения различных типов каналов связи.
В таком случае задача распределения центров сбора данных по центрам обработки данных формулируется в виде задачи минимизации
затрат
і
п , т
min £
k.=i т=і д=і
(12)
при ограничениях:
1) на однократность включения j-ого ЦСД к ЦОД:
п
1=1
(13)
данных:
2) на обязательность использования всех центров обработки
т
vi ■ ^ %ij}c ^ 0: J'=i
(14)
3) на время сбора, передачи и записи темпоральной информации в
хранилище данных [3]: п.
У/ : xijk ■ tijft ^ tmax-
где tmax - максимально допустимое время передачи информации от ЦСД к ЦОД. При поддержке ЦОД параллельной обработки запросов;
4) на надежность канала связи:
п
У' Vijк ~ ^ij к — V
mm LJ'
(16)
где pmin - требуемое значені надежности канала передачи учетной информации.
http://ej.kubagro.ru/2014/09/pdf/87.pdf
Научный журнал КубГАУ, №103(09), 2014 года
8
Исходными данными для решения задачи являются матрицы:
1) матрица затрат на размещение центров сбора и обработки данных Cijk, где С/к - затраты на подключение /-ого ЦСД к i-му ЦОД каналом связи к(включая затраты на проектирование, прокладку канала связи, пуско-наладочные работы, оплату персонала), i^IJ = 1,...,n - множество индексов (номеров) ЦОД/^J, J = 1,...,m - множество индексов (номеров) ЦСД, к^К,К = 1,...,/ - множество доступных каналов связи;
2) матрица времени сбора, передачи и записи данных Ti/k, где / -время сбора, передачи и записи данных при передаче учетной информации от /-ого ЦСД к i-му ЦОД к-мканалом связи;
3) матрица вероятностей безотказной работы каналов связи Pijk где pijk - вероятность безотказной работы канала связи между j-м ЦСД к і-м ЦОД на k-м канале связи.
Каждая из матриц C, T и P имеет вид трехмерной матрицы в случае проектирования системы сбора и хранения хронологических данных с применением различных каналов связи. Для этого дополнительно вводится измерение к, К = 1,...,n- множество каналов связи между ЦОД и ЦСД.
Решением поставленной задачи минимизации является тринарная матрица Х/к где х//к = 1 - если /-й ЦСД подключен к i-му ЦОД к-м каналом связи и х//к = 0 в противном случае.
Поставленная задача минимизации, также как и в случае использования одного типа канала связи, может быть также решена методом перебора всех допустимых значений переменной Хлибо, в случае большой размерности, другими методами нелинейной целочисленной оптимизации.
Методика, позволяющая решить задачу (12), состоит из следующих
этапов:
1) формирование множества I (на основе схемы электроснабжения
http://ej.kubagro.ru/2014/09/pdf/87.pdf
Научный журнал КубГАУ, №103(09), 2014 года
9
энергокластера);
2) формирование множества J (аналогично на основе схемы электроснабжения);
3) формирование множества K (на основе анализа допустимости применения конкретного типа канала связи);
4) сбор стоимостной информации, расчет и формирование матрицы C;
5) формирование матрицы T (в случае если отсутствует возможность про- ведения реальных расчетов, можно использовать имитационную модель, описанную в главе 1);
6) определение максимально допустимого времени передачи информации от ЦСД к ЦОД tmcix;
7) формирование матрицы P (описание одного из методов приведено в главе 3);
8) определение требуемого значения надежности канала передачи учетной информацииртіп;
9) решение задачи (12) методами целочисленной оптимизации.
Системно-аналитическое описание методики по технологии SADT представлено на IDEF-0 диаграмме (рисунокЗ).
http://ej.kubagro.ru/2014/09/pdf/87.pdf
Научный журнал КубГАУ, №103(09), 2014 года
10
Рисунок 3 - IDEF-0 диаграмма методики конфигурации распределенной информационной системы с несколькими центрами обработки данных с применением различных типов каналов связи
Задача структурирования данных информационной системы сбора и хранения данных решена с помощью известных методик.
Для оценки положительного экономического эффекта от применения предложенной методики были рассмотрены два варианта внедрения системы сбора и хранения данных. Первый вариант использует метод распределения центров сбора данных по центрам обработки данных, использующий принцип подключения к ближайшему доступному узлу. Второй вариант использует для расчета разработанную методику оценки затрат внедрения системы сбора и хранения данных. Результаты проведенных экспериментов представлены в таблице 1.
http://ej.kubagro.ru/2014/09/pdf/87.pdf
Научный журнал КубГАУ, №103(09), 2014 года
11
Таблица 1 - Оценка положительного экономического эффекта от применения предложенной методики
Объект эксперимента Эффект (снижение стоимости)
Система учета электроэнергии -14.3%
Система учета потребления газа -2.9%
Полученные методики позволяют проектировать информационные системы сбора и хранения хронологических данных, применяемых в системах ЖКХ, информационных системах
газораспределения, информационных системах энергокластеров и в других областях. Разработанное вспомогательное программное обеспечение позволяет автоматизировать вычисление конфигурации проектируемой системы при известной матрицы затрат на размещение центров сбора и обработки данных, матрицы времени сбора, передачи и записи данных и матрицы вероятностей безотказной работы каналов связи.
Список литературы
1. Дьяченко, Р. Моделирование систем сбора и передачи данных с применением цветных сетей Петри [Электронный ресурс] / Р. А. Дьяченко, А.В. Фишер, В.В. Богданов // Фундаментальные исследования. - 2013.- №11(6).-c. 1122-1126. -Режим доступа: http://rae.ru/fs/?section=content&op=show_article&article_id=10002528
2. Лаптев В.Н. Вопросу повышения надежности системы сбора и хранения хронологических данных [Электронный ресурс] / Ю.Н. Сопильняк, Р.А. Дъяченко, Р.Х. Багдасарян // Политематический сетевой электронный научный журнал КубГАУ. -Краснодар: КубГАУ, 2014. №101(07), - 16с. - Режим доступа: http://ej.kubagro.ru/2014/ 07/pdf/162.pdf.
3. Фишер, А.В. Организация хранения хронологических данных в базах данных
систем мониторинга и прогнозирования [Электронный ресурс] / А.В. Фишер, Р.А. Дьяченко, И.С. Лоба // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал
КубГАУ).-2012.-№79(5).- Режим доступа: http://ej.kubagro.ru/ archive.asp?n=79
http://ej.kubagro.ru/2014/09/pdf/87.pdf
Научный журнал КубГАУ, №103(09), 2014 года
12
References
1. D'jachenko, R. Modelirovanie sistem sbora i peredachi dannyh s primeneniem
cvetnyh setej Petri [Jelektronnyj resurs] / R.A. D'jachenko, A.V. Fisher, V.V. Bogdanov // Fundamental'nye issledovanija. - 2013.- №11(6).-c. 1122-1126. -Rezhim dostupa:
http://rae.ru/fs/?section=content&op=show_article&article_id=10002528
2. Laptev V.N. Voprosu povyshenija nadezhnosti sistemy sbora i hranenija
hronologicheskih dannyh [Jelektronnyj resurs] / Ju.N. Sopil'njak, R.A. D#jachenko, R.H. Bagdasarjan // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal KubGAU. - Krasnodar: KubGAU, 2014. №101(07), - 16s. - Rezhim dostupa: http://ej.kubagro.ru/2014/
07/pdf/162.pdf.
3. Fisher, A.V. Organizacija hranenija hronologicheskih dannyh v bazah dannyh sistem monitoringa i prognozirovanija [Jelektronnyj resurs] / A.V. Fisher, R.A. D'jachenko, I.S. Loba // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU).-2012.-№79(5).- Rezhim dostupa: http://ej .kubagro.ru/ archive.asp?n=79
http://ej.kubagro.ru/2014/09/pdf/87.pdf
