CC BY
15
УДК 004.75 ББК 32.813.5 К 72
Костюк Андрей Иванович
Доцент, кандидат технических наук, доцент кафедры вычислительной техники института компьютерных технологий и информационной безопасности Южного федерального университета, Таганрог, тел. (8634) 371656, e-mail: aikostyuk@sfedu.ru Беспалов Дмитрий Анатольевич
Доцент, кандидат технических наук, доцент кафедры вычислительной техники института компьютерных технологий и информационной безопасности Южного федерального университета, Таганрог, тел. (8634) 371656, e-mail: dabespalov@sfedu.ru Волошин Александр Валерьевич
Аспирант кафедры вычислительной техники института компьютерных технологий и информационной безопасности Южного федерального университета, Таганрог, тел. (8634) 371656, e-mail: avo-loshin@sfedu.ru
Принципы создания архитектуры распределенной базы данных для задачи охраны периметра*
(Рецензирована)
Аннотация. Описаны архитектурные принципы создания распределенной базы данных для задачи охраны периметра с высокими требованиями к масштабируемости и отказоустойчивости. Показана схема модернизированной архитектуры, описаны подходы к достижению заданных ключевых показателей, разработан подход к миграции. Проведено исследование производительности системы, определены величины ключевых показателей эффективности, достигаемые подсистемой обеспечения отказоустойчивости.
Ключевые слова: база данных, высокая доступность, отказоустойчивость, масштабируемость, анализ производительности, ресурсное планирование.
Kostyuk Andrey Ivanovich
Associate Professor, Candidate of Technical Sciences, Associate Professor of the Department of Computer Engineering, Institute of Computer Technology and Information Security, Southern Federal University, Taganrog, ph. (8634) 371656, e-mail: nesergeev@sfedu.ru Bespalov Dmitriy Anatolyevich
Associate Professor, Candidate of Technical Sciences, Associate Professor of the Department of Computer Engineering, Institute of Computer Technology and Information Security, Southern Federal University, Taganrog, ph. (8634) 371656, e-mail: dabespalov@sfedu.ru Voloshin Aleksandr Valeryevich
PhD student, Department of Computer Engineering, Institute of Computer Technology and Information Security, Southern Federal University, Taganrog, ph. (8634) 371656, e-mail: avoloshin@sfedu.ru
The principles of creating a distributed database architecture for the task of perimeter protection
Abstract. The paper describes the architectural principles of creating a distributed database for the task of perimeter security with high requirements for scalability and fault tolerance. A diagram of the modernized architecture is shown, approaches to achieving the specified key indicators are described, and an approach to migration is developed. A study of the system performance was carried out, and the values of key performance indicators achieved by the fault tolerance subsystem were determined.
Keywords: database, high availability, fault tolerance, scalability, performance analysis, resource planning.
Введение. Для целей охраны периметра производственного объекта большой территориальной протяженности с учетом вероятного наличия угроз несанкционированного физического проникновения, на территории которого находятся стационарные или подвижные объекты, требуется использование необитаемых интеллектуальных взаимодействующих мобильных роботизированных платформ.
Для обеспечения охраны протяженного периметра необходимо решить ряд задач, в том числе:
* Работа выполнена при финансовой поддержке РФФИ (проект № 20-07-00559).
• Исследование архитектуры и возможностей выбранной платформы для обеспечения высокой производительности, масштабируемости и высокой доступности.
• Исследование существующей информационной системы охраны периметра, представленной ранее в работах [1-10]. На практике процесс внедрения каких-либо систем с нуля является сравнительно редким случаем. В большинстве случаев информационные системы эволюционируют параллельно с увеличивающимися требованиями к ним. По этой причине исследование модернизируемой системы как в плане конфигурации, так и в плане производительности, является необходимым шагом к построению новой архитектуры. Важными подзадачами в рамках данного исследования являются сбор и анализ требований к новой, модернизированной системе:
• Проведение ресурсного планирования. Поскольку состояние информационных систем не является статичным, исследование должно включать анализ изменения параметров системы за продолжительный промежуток времени. Кроме того, решение задачи по разработке архитектуры требует знаний о планируемом состоянии системы в будущем.
• Разработка архитектуры высокопроизводительной, масштабируемой высокодоступной системы на основе проведенных исследований и собранных данных.
• Разработка метода внедрения. На практике недостаточно просто разработать систему, удовлетворяющую требованиям заказчика: способ миграции, вероятно, является еще более важной частью проекта. Причиной этого является то, что даже идеально разработанная архитектура будет бесполезной, если ее невозможно внедрить в существующих реалиях бизнеса. Таким образом, очевидно, что план миграции является неотъемлемой частью проекта по модернизации системы.
• Наконец, после выполнения задачи по разработке метода внедрения информационной системы требуется разработать план проекта по внедрению данной системы.
Требования к отказоустойчивости системы. В результате анализа существующих систем были сформированы требования к значениям ключевых показателей эффективности по параметру отказоустойчивости (табл. 1).
Таблица 1
Требования к значениям отказоустойчивости
Рассматриваемая ситуация Требования к RTO, мин Требования к RPO, мин
Авария одного диска 0 0
Восстановимая авария узла 1 0
Повреждение данных 160 1
Глобальная авария в ЦОД 160 1
Реорганизация БД 160 0
Обслуживание сервера 320 0
Апгрейд СУБД 10 0
Примечание: ЦОД - центр обработки данных; БД - база данных; СУБД - система управления базами данных; RTO (Recovery Time Objective) - допустимое время восстановления; RPO (Recovery Point Objective) -допустимая точка восстановления
Выбор платформы. Существуют различные опции платформ, на базе которых возможно выполнить реализацию системы. Выбор конкретной платформы реализации разрабатываемой системы зависит от ряда характеристик:
1. Предоставляемые платформой архитектурные преимущества, влияющие на ключевые показатели эффективности;
2. Сложность осуществления миграции, выражающаяся в трудозатратах;
3. Стоимость покупки оборудования.
Анализ опции использования платформы IBMAIX. Проанализируем плюсы и минусы от использования данной платформы для построения архитектуры системы.
Плюсами платформы являются:
• Нахождение в среднем ценовом сегменте;
• Ускорение проекта по внедрению за счет отсутствия необходимости в миграции
платформы;
• Отсутствие необходимости в изменении версий при внедрении в связи с отсутствием изменений инфраструктуры;
• Отсутствие изменений на уровне данных и приложения, относительная простота регресс-теста;
• Возможность использовать конфигурацию Data Guard между центрами обработки данных, что позволит радикально снизить время простоя системы даже при глобальных аварийных ситуациях.
• Минусами, в свою очередь, являются:
• Необходимость специфичных навыков у персонала для обслуживания (дополнительные специалисты по AIX);
• Меньшая масштабируемость по сравнению опцией ПАК Oracle Exadata.
Примером оборудования на данной платформе может служить система IBM Power
E850. Для разворачивания продуктивных и непродуктивных сред по расчетам необходимо минимум шесть таких серверов. Сервера предполагается использовать для расположения как базы данных, так и приложений.
Анализ опции использования платформы Linux x86-64. Для опции использования платформы Linux x86-64 в качестве плюсов можно выделить:
• Отсутствие необходимости в специфичных квалификациях для обслуживания;
• В случае экспорта-импорта - снижение объема БД за счет дефрагментации (15-40%);
• Наименьшая стоимость среди представленных вариантов.
• Минусами являются:
• Усложнение миграции ввиду кросс-платформенности;
• Усложнение миграции ввиду необходимости ручной настройки кластерной конфигурации для обеспечения масштабируемости;
• Нет возможности использовать Oracle Data Guard в целях миграции ввиду необходимости кросс-платформенной миграции;
• Необходимость применения ряда программных заплаток и изменения версии БД на этапе внедрения.
Требуемые характеристики оборудования можно обеспечить, например, с помощью серверов Dell PowerEdge R740xd. Понадобится как минимум 12 таких серверов для разворачивания продуктивных и непродуктивных сред. Сервера предполагается использовать для расположения базы данных и приложений.
Анализ опции использования программно-аппаратного комплекса Oracle Exadata. Плюсами выбора данной платформы являются:
• Крайне высокая масштабируемость ПАК Oracle Exadata;
• Технологии Exadata, позволяющие повысить эффективность использования оборудования;
• Отсутствие необходимости настройки кластера БД;
• В случае миграции путем экспорта-импорта снижение объема БД за счет дефрагментации (15-40%);
• Отсутствие необходимости покупать и настраивать систему хранения данных, поскольку она является частью ПАК.
• Минусами являются:
• Необходимость специфичных навыков у персонала для обслуживания программно-аппаратных комплексов (ПАК);
• Усложнение внедрения ввиду необходимости кроссплатформенной миграции;
• Отсутствие возможности использовать Oracle Data Guard для миграции;
• Необходимость применения ряда программных заплаток и изменения версии базы данных на этапе внедрения.
Требуемые характеристики можно обеспечить, например, с помощью серверов Exadata X7-2. Необходимо понимать, что даже в минимальной комплектации Exadata оставляет запас
по физическим ресурсам, предоставляя возможность для вертикального масштабирования системы.
С точки зрения оборудования, для реализации данной опции потребуется:
• Конфигурация Oracle Exadata X7-2 1/8 Rack - для развертывания продуктивных окружений;
• Конфигурация Oracle Exadata X7-2 1/4 Rack - для развертывания непродуктивных окружений.
Выбор платформы. По результатам проведенного анализа было принято решение выбрать программно-аппаратный комплекс Oracle Exadata в качестве платформы для построения новой архитектуры высокодоступной масштабируемой базы данных.
Выбор инструментов реализации. Согласно таблице 1, в которой отражены требования к значениям KPI (Key Performance Indicators - ключевые показатели эффективности) решения отказоустойчивости, сформируем список технологий, которые потребуется использовать для достижения необходимых значений KPI. Технологии, выбранные для использования в разрабатываемой подсистеме, приведены в таблице 2.
Таблица 2
Выбор технологий для достижения значений KPI
Ситуация RTO, мин RPO, мин Решение
Авария одного диска 0 0 Для удовлетворения данного требования рекомендуется внедрение технологии Oracle Automatic Storage Management.
Восстановимая авария узла 1 0 Для удовлетворения данного требования рекомендуется внедрение технологии Oracle Real Application Cluster, совместно с технологией Oracle Data Guard.
Повреждение данных 160 1 Для достижения данных значений KPI рекомендуется внедрение подхода к резервному копированию на основе Oracle Recovery Manager, с организацией резервного копирования файлов данных и архивных журналов повторного выполнения.
Авария в центре обработки данных, глобальная авария в регионе 160 1 В данной ситуации описанные KPI достижимы в случае построения отказоустойчивой системы на основе активного и пассивного окружения, географически отдаленных друг от друга.
Реорганизация базы данных 160 0 Данные требования выполняются, при выборе соответствующих подходов к проведению обслуживания системы.
Обслуживание сервера 320 0 Для достижения данных KPI рекомендуется внедрение технологий Oracle ASM, Oracle Real Application Cluster, Oracle Data Guard и последующее использование функций данных технологий для минимизации окон простоя системы.
Апгрейд СУБД 10 0
Кроме того, необходимо упомянуть, что ни одно отказоустойчивое решение не может работать должным образом в отсутствии системы мониторинга и оповещения об аварийных ситуациях.
Платформой для создания такой системы выберем Oracle Enterprise Manager Cloud Control.
Таким образом, сформируем следующий список технологий, выбранных к внедрению:
1. Oracle Automatic Storage Management;
2. Oracle Real Application Clusters;
3. Oracle Data Guard;
4. Oracle Recovery Manager;
5. Oracle Enterprise Manager Cloud Control.
Архитектура системы. Используя список технологий для внедрения, разработаем архитектуру основной подсистемы - продуктивного окружения.
Согласно исследованию существующей системы заказчика, данная подсистема состоит
из двух связанных между собой окружений:
• Продуктивного окружения, являющегося основным для обработки транзакционной нагрузки;
• Отчетного окружения, созданного в целях распределения нагрузки в режиме «только чтение» с использованием технологии Oracle Active Data Guard.
Кроме того, необходимо учитывать, что выбранная для реализации решения платформа Oracle Exadata X7-2 1/8 Rack не является монолитной.
На уровне вычислительного оборудования серверов указанная конфигурация представляет собой совокупность из трех физических серверов.
Таким образом, архитектура разрабатываемой подсистемы непременно будет включать в себя использование технологии Oracle Real Application Cluster.
На рисунке 1 представлена разработанная архитектура продуктивной подсистемы.
Рис. 1. Разработанная архитектура продуктивной подсистемы
Как показано на рисунке, согласно разработанной архитектуре, предлагается разместить продуктивное окружение в качестве кластера Oracle Real Application Cluster с экземплярами БД на соответственно первом и втором узле ПАК Oracle Exadata.
В свою очередь, отчетное окружение предлагается разместить на третьем узле, организовывая передачу данных для репликации через внутреннюю оптоволоконную сеть ПАК Oracle Exadata.
Использование технологий Oracle Real Application Clusters позволяет увеличить способность системы к масштабированию, ее отказоустойчивость как в случае незапланированных простоев, так и в случае плановых периодов обслуживания.
Итоговая архитектура системы может быть представлена на основе графического языка моделирования архитектур корпоративного уровня ArchiMate.
Таким образом, на рисунке 2 представлена упрощенная общая архитектура системы на основе конфигурация Oracle Data Guard с осуществлением репликации изменений в продуктивной базе данных между удаленными друг от друга центрами обработки данных, а также каскадная пересылка записей повторов.
Корпоративный SMTP Сервер
Oracle Enterprise Manager Cloud Control Веб-сервис
Репозиторий Oracle Enterprise Manager Cloud Control
Агент OEM CC
Рис. 2. Итоговая архитектура системы
Примечания:
1. Костюк А.И. Структуры данных системы цифрового описания данных средств охраны и мониторинга объектов // Современные наукоемкие технологии, 2017. № 12. С. 43-48.
2. Костюк А.И., Шаповал Н.Е. Концептуальная модель базы геоданных объектов // Информационные системы и технологии: фундаментальные и прикладные исследования: сб. ст. II Всерос. науч.-практ. конф. молодых ученых, аспирантов, магистрантов и студентов. Таганрог, 2017. С. 448-450.
3. Костюк А.И. Изоморфно-статистическая идентификация изображений // Современные наукоемкие технологии. 2017. № 6. С. 58-61. URL: http://www.top-
technologies.ru/ru/article/view?id=36698
4. Integration of Models of Adaptive Behavior of Ant and Bee Colony / B.K. Lebedev, O.B. Lebedev, E.M. Lebedeva, A.I. Kostyuk // Artificial Intelligence and Algorithms in Intelligent Systems. CSOC2018 2018. Advances in Intelligent Systems and Computing. Vol. 764 / R. Silhavy (eds). Springer; Cham. SCOPUS, 2019. URL:
https://www.scopus.com/authid/detail.uri?authorId=57 196048780
5. Костюк А.И., Мунтян Е.Р., Поленов М.Ю. О подходе к модернизации программной системы поддержки управленческих решений // Известия ЮФУ. Технические науки. 2015. № 3. С. 46-54.
6. Исследование возможности внедрения виртуализации в системах управления Smart House /
A.И. Костюк, М.Ю. Поленов, Е.Р. Мунтян,
B.А. Лукьянов, А.Ю. Николава // Информатизация и связь. 2015. № 3. С. 72-77.
7. VLSI Planning Based on the Ant Colony Method / B.K. Lebedev, O.B. Lebedev, E.O. Lebedeva, A.I. Kostyuk // Proceedings of the Second International Scientific Conference "Intelligent Information Technologies for Industry" (IITI'17). IITI 2017. Advances in Intelligent Systems and Computing, Vol. 679 /
A. Abraham, S. Kovalev, V. Tarassov, V. Snasel, M. Vasileva, A. Sukhanov (eds). P. 388-398. Springer Cham., 2017.
(https://link.springer.com/chapter/10.1007/978-3-319-68321-8_40).
8. Поленов М.Ю., Костюк А.И., Лукьянов В.А. Анализ существующих угроз для безопасности виртуальной среды // Информационные технологии, системный анализ и управление: сб. трудов XII Всерос. науч. конф. Ростов н/Д: Изд-во ЮФУ, 2015. Т. 1. C. 76-78.
9. Мунтян Е.Р., Костюк А.И., Лиотвейзен В.В. Особенности виртуальной карты для расчета марша соединений // Инновационное развитие современной науки: сб. ст. Междунар. науч.-практ. конф., 14 марта 2015 г., г. Уфа: в 2 ч. Ч. 1. Уфа: Аэтерна, 2015. С. 49-52.
10. GAPS (GPS Analysis and Positioning Software). URL: http://gaps.gge.unb.ca/submitbasic.php (дата обращения: 25.05.2020).
References:
1. Kostyuk A.I. Data structures of the digital description system for the data of facilities for monitoring and monitoring objects // Modern High Technologies.
2017. No. 12. P. 43-48.
2. Kostyuk A.I., Shapoval N.E. A conceptual model of the geodatabase of objects // Information systems and technologies: fundamental and applied research: collection of articles of the 2nd Russian scient. and pract. conference of young scientists, graduate students, undergraduates and students. Taganrog, 2017. P. 448450.
3. Kostyuk A.I. Isomorpho-probablistic identification of images // Modern High Technologies. 2017. No. 6.
P. 58-61. URL: http://www.top-technologies.ru/ru/article/view?id=36698
4. Integration of Models of Adaptive Behavior of Ant and Bee Colony / B.K. Lebedev, O.B. Lebedev, E.M. Lebedeva, A.I. Kostyuk // Artificial Intelligence and Algorithms in Intelligent Systems. CS0C2018
2018. Advances in Intelligent Systems and Computing. Vol. 764 / R. Silhavy (eds). Springer; Cham. SCOPUS, 2019. URL:
https://www.scopus.com/authid/detail.uri?authorId=57 196048780
5. Kostyuk A.I., Muntyan E.R., Polenov M.Yu. On the approach to modernization of the software system for supporting management decisions // SFU News. Technical Sciences. 2015. No. 3. P. 46-54.
6. Investigation of the possibility of implementing virtu-alization in Smart House control systems / A.I. Kostyuk, M.Yu. Polenov, E.R. Muntyan, V.A. Lukyanov, A.Yu. Nikolava // Informatization and Communication. 2015. No. 3. P. 72-77.
7. VLSI Planning Based on the Ant Colony Method / B.K. Lebedev, O.B. Lebedev, E.O. Lebedeva, A.I. Kostyuk // Proceedings of the Second International Scientific Conference "Intelligent Information Technologies for Industry" (IITI'17). IITI 2017. Advances in Intelligent Systems and Computing, Vol. 679 /
A. Abraham, S. Kovalev, V. Tarassov, V. Snasel, M. Vasileva, A. Sukhanov (eds). P. 388-398. Springer Cham., 2017.
(https://link.springer.com/chapter/10.1007/978-3-319-68321-8_40).
8. Polenov M.Yu., Kostyuk A.I., Lukyanov V.A. Analysis of existing threats to the security of the virtual environment // Information technologies, system analysis and management: collection of proceedings of the 12th Russian Scientific Conference. Rostov-on-Don: Publishing House of SFU, 2015. Vol. 1. P. 76-78.
9. Muntyan E.R., Kostyuk A.I., Liotweisen V.V. Features of a virtual map for calculating the connection march // The innovative development of modern science: a collection of articles of the International scientific-practical conference, March 14, 2015, Ufa: in 2 pt. Pt. 1. Ufa: Aeterna, 2015. P. 49-52.
10. GAPS (GPS Analysis and Positioning Software). URL: http://gaps.gge.unb.ca/submitbasic.php (access date: 25.05.2020).
