CC BY
7
Научная статья
УДК 004.415.2.052.3
ББК 32.972
К 72
DOI: 10.53598/2410-3225-2021-3-286-55-62
Методы построения высокопроизводительной отказоустойчивой распределенной базы данных для задачи охраны периметра
(Рецензирована)
1 2 Андрей Иванович Костюк , Наталия Михайловна Коробейникова
1 2 Южный федеральный университет, Таганрог, Россия.
1 aikostyuk@sfedu.ru
2 nkorobeynikova@sfedu.ru
Аннотация. Описаны методы построения высокопроизводительной отказоустойчивой распределенной базы данных для задачи охраны периметра. Представлена архитектура подсистемы отказоустойчивости, архитектура подсистемы резервного копирования, описаны подходы к достижению заданных ключевых показателей. Проведено исследование производительности системы, определены ключевые показатели эффективности, достигаемые подсистемой обеспечения отказоустойчивости.
Ключевые слова: база данных, высокая доступность, отказоустойчивость, масштабируемость, высокопроизводительная система, ресурсное планирование
Original Research Paper
Methods for building a high-performance fault-tolerant distributed database for the task of perimeter security
12 Andrey I. Kostyuk , Natalya M. Korobeynikova
1 2 Southern Federal University, Taganrog, Russia.
1 aikostyuk@sfedu.ru
2 nkorobeynikova@sfedu.ru
Abstract. The paper discusses the methods for constructing a high-performance fault-tolerant distributed database for the perimeter security problem. The architecture of the fault tolerance subsystem, the architecture of the backup subsystem, and approaches to achieving the specified key indicators are described. The study of the system performance was carried out, the values of the key performance indicators achieved by the fault tolerance subsystem were determined.
Keywords: database, high availability, fault tolerance, scalability, high performance system, resource planning
Введение. Для целей охраны периметра производственного объекта большой территориальной протяженности с учетом вероятного наличия угроз несанкционированного физического проникновения, на территории которого находятся стационарные или подвижные объекты, требуется использование необитаемых интеллектуальных взаимодействующих мобильных роботизированных платформ [1-10].
Учитывая то, что предварительный анализ исходного проекта системы уже был проведен ранее [1], сформируем следующий подход к разработке:
Работа выполнена при финансовой поддержке РФФИ (проект № 20-07-00559).
1. Анализ требований к новой системе.
2. Выбор платформы.
3. Построение архитектуры производственного окружения.
4. Построение полной архитектуры системы:
4.1. Построение архитектуры отказоустойчивости;
4.2. Построение архитектуры резервного копирования;
4.3. Ресурсное планирование для решения резервного копирования.
Внедрение системы представляет собой миграцию между существующим и разработанным решениями.
Ниже приведено описание подхода к внедрению разработанной архитектуры:
1. Определение требований к процедуре миграции.
2. Определение списка задач на миграцию.
3. Выбор способа и инструментов внедрения.
4. Исследование организационной структуры компании-заказчика.
5. Выбор подхода к проектному менеджменту.
6. Разработка плана проекта.
Основными требованиями к разрабатываемой системе являются:
1. Обеспечение горизонтальной и вертикальной масштабируемости;
2. Обеспечение отказоустойчивости.
Архитектура подсистемы отказоустойчивости. Существуют различные опции платформ, на базе которых возможно выполнить реализацию системы. Выбор конкретной платформы реализации разрабатываемой системы зависит от ряда характеристик:
1. Предоставляемые платформой архитектурные преимущества, влияющие на ключевые показатели эффективности;
2. Сложность осуществления миграции, выражающаяся в трудозатратах;
3. Стоимость покупки оборудования.
Использование технологий Oracle Real Application Clusters позволяет увеличить способность системы к масштабированию, ее отказоустойчивость как в случае незапланированных простоев, так и в случае плановых периодов обслуживания.
Благодаря возможности задействовать при реализации решения несколько площадок размещения, находящихся в различных центрах обработки данных, нам представляется возможность внедрить отказоустойчивое решение на основе географического дистанцирования.
Такое решение позволит системам заказчика сохранить работоспособность не только в случае локальных проблем (выход из строя оборудования, отключение электроэнергии, пожары), но даже в случае глобальных катаклизмов, затрагивающих целые регионы (наводнения, ураганы).
Технически подсистему отказоустойчивости предлагается построить на базе:
• второго, дублирующего, программно-аппаратного комплекса Oracle Exadata, находящегося в географически удаленном от продуктивной подсистемы регионе Европы;
• технологии Oracle Active Data Guard для организации репликации данных между центрами обработки данных в режиме "active-passive".
Поскольку, согласно требованиям заказчика, RTO системы в худшем случае должен соответствовать значению в одну минуту, необходимым условием является наличие в резервном центре обработки данных подсистемы, идентичной продуктивной.
Под идентичной в данном случае понимается подсистема, которая:
• состоит из равного количества аналогично сконфигурированных окружений;
• имеет аналогичное количество ресурсов оборудования.
Для построения такой системы, а также для обеспечения RTO в одну минуту было принято решение использовать конфигурацию в виде каскадной репликации данных.
Такая конфигурация позволяет ускорить процесс переключения на резервную площадку с сохранением ролей продуктивного и отчетного окружений.
На рисунке 1 приведена схема архитектуры подсистемы отказоустойчивости.
Продуктивная БД
UU
Active Data Guard
Data
CZ11 iarrl
—1
к > Резервная Продуктивная БД Резервная Отчетная 1 БД J
г л Окружения нижнего уровня 1
1 1
Рис. 1. Схема архитектуры подсистемы отказоустойчивости Fig. 1. Fault tolerance subsystem architecture diagram
Архитектура подсистемы резервного копирования. Резервное копирование является неотъемлемой частью решения отказоустойчивости любой информационной системы. В большинстве случаев резервные копии используются далеко не только для собственно полного восстановления системы, но и для:
• дублирования окружений в целях разработки и тестирования;
• архивирования важных данных;
• поиска и исследования исторических данных.
Распространенной практикой является разделение решения резервного копирования на две части:
1. Оперативные резервные копии, характеризующиеся высокой скоростью доступа к ним, в случае необходимости. В качестве оборудования для таких копий зачас-
тую выступают разнообразные NAS-решения: например, на базе серверов Synology или Cohesity.
2. Долговременные резервные копии, характеризующиеся надежностью и экономической эффективностью оборудования, зачастую достигаемые за счет уменьшения скорости доступа. Данную функцию часто выполняют разнообразные хранилища на магнитной ленте, либо облачные хранилища данных.
Подсистему предлагается построить на основе:
1. Программно-аппаратного комплекса Oracle ZFS Appliance, предоставляющего высокопроизводительное хранилище, совместимое с протоколом Network File System. Данное оборудование предлагается использовать в качестве хранилища оперативных резервных копий. Oracle ZFS Appliance представляет собой корпоративное решение хранения данных с усовершенствованной архитектурой, которое включает в себя высокоинтеллектуальную симметричную многопроцессорную (SMP) операционную систему, которая в полной мере использует преимущества современных многоядерных процессоров.
2. Серверов Cohesity Data Platform, используемых для хранения долговременных резервных копий, архивируемых путем копирования и сжатия оперативных резервных копий. Cohesity Data Platform - это масштабируемое решение, основанное на уникальной распределенной файловой системе SpanFS. Data Platform модернизирует и упрощает управление данными и приложениями, предоставляя одну платформу для разнообразных рабочих нагрузок.
3. Технологии Oracle Recovery Manager (RMAN), позволяющей создавать различные типы резервных копий, в том числе полные, кумулятивные и дифференциальные, без необходимости отключения системы на время снятия копии.
На рисунке 2 представлена разработанная архитектура подсистемы резервного копирования.
Разработка решения мониторинга и оповещения. Подсистема мониторинга и оповещения является важнейшей частью системы высокой доступности. Несмотря на то, что данная подсистема не обеспечивает избыточности и не используется на этапах восстановления либо переключения продуктивного окружения, обеспечить многие из связанных с высокой доступностью KPI без внедрения мониторинга и оповещений не представляется возможным.
Правильно настроенная система мониторинга позволяет вовремя отреагировать на произошедшую, а во многих случаях и на предстоящую аварии. Система оповещений, в свою очередь, позволяет персоналу в краткие сроки узнавать об аварийных ситуациях и своевременно производить действия по починке, наладке и предотвращению проблем на критичных для компании окружениях системы.
В рамках данной работы в качестве платформы для создания системы мониторинга и оповещений использовано приложение Oracle Enterprise Manager Cloud Control.
Кроме собственно системы мониторинга данное приложение имеет функции:
• автоматизации административных действий;
• базы знаний об инфраструктуре системы;
• хранилища метрик системы;
• инструмента разработки для СУБД Oracle;
• централизованного планировщика задач.
Данный набор функционала позволяет использовать Oracle Enterprise Manager Cloud Control в качестве корпоративной платформы мониторинга и администрирования баз данных и серверов приложений Oracle.
Российский ЦОД
Резервная Продуктивная БД
Резервное копирование RMAN
Oracle ZFS Appliance
Оперативное хранение резервных копий
V___у
Cohesity Appliance
Долговременное хранение резервных копий
Рис. 2. Архитектура подсистемы резервного копирования Fig. 2. Backup subsystem architecture
Итоговая архитектура системы. Для описания архитектуры системы был выбран инструмент Archi на основе графического языка моделирования архитектур корпоративного уровня Archi Mate.
Archi Mate является открытым и независимым языком моделирования для архитектуры предприятия, который поддерживается различными поставщиками инструментов и консалтинговыми фирмами.
Спецификация Archi Mate предоставляет инструменты, которые позволяют архитекторам предприятий однозначно описывать, анализировать и визуализировать отношения между бизнес-доменами.
На рисунке 3 представлена обобщенная архитектура системы, где наглядно демонстрируются конфигурация Oracle Data Guard с осуществлением репликации изме-
нений в продуктивной базе данных между удаленными друг от друга центрами обра-
Рис. 3. Обобщенная архитектура системы Fig. 3. Generalized system architecture
Таким образом, основными особенностями разработанной архитектуры являются использование технологии Oracle Real Application Clusters для обеспечения отказоустойчивости и масштабируемости; использование технологии Oracle Data Guard для обеспечения отказоустойчивости и возможности переключения между производ-
ственной и резервной площадками; задействование двух географически дистанцированных центров обработки данных и настройка постоянной репликации между ними; использование технологий Oracle Exadata для повышения эффективности работы оборудования; организация мониторинга системы, оповещений об аварийных ситуациях на базе Oracle Enterprise Manager Cloud Control; использование технологии каскадной пересылки записей журнала повторов для уменьшения времени простоя при смене ролей окружений.
Список литературы
1. Костюк А.И., Беспалов Д.А., Романов В.В. Принципы создания системы обработки и хранения GNSS данных для задачи охраны периметра // Вестник Адыгейского государственного университета. Сер.: Естественно-математические и технические науки. 2020. Вып. 2 (261). С. 74-79. URL: http://vestnik.adygnet.ru
2. Костюк А.И., Шаповал Н.Е. Концептуальная модель базы геоданных объектов // Информационные системы и технологии: фундаментальные и прикладные исследования: сб. ст. II Всерос. науч.-практ. конф. молодых ученых, аспирантов, магистрантов и студентов. Таганрог, 2017. С.448-450.
3. Костюк А.И. Изоморфно-статистическая идентификация изображений // Современные наукоемкие технологии. 2017. № 6. С. 58-61. URL: http://www.top-technologies.ru/ru/article/view?id=36698
4. Integration of Models of Adaptive Behavior of Ant and Bee Colony (2019) / B.K. Lebedev, O.B. Lebedev, E.M. Lebedeva, A.I. Kostyuk // Artificial Intelligence and Algorithms in Intelligent Systems. Advances in Intelligent Systems and Computing / Silhavy R. (eds). Springer, 2018. Vol. 764. URL: https://www.scopus.com/authid/detail.uri?authorId=57196048780
5. Костюк А.И., Мунтян Е.Р., Поленов М.Ю. О подходе к модернизации программной системы поддержки управленческих решений // Известия ЮФУ. Технические науки. 2015. № 3. С. 46-54.
6. Исследование возможности внедрения виртуализации в системах управления SmartHouse / А.И. Костюк, М.Ю. Поленов, Е.Р. Мунтян, В.А. Лукьянов, А.Ю. Николава // Информатизация и связь. 2015. № 3. С. 72-77.
7. VLSI Planning Based on the Ant Colony Method / B.K. Lebedev, O.B. Lebedev, E.O. Lebedeva, A.I. Kostyuk; ed. by A. Abraham, S. Kovalev, V. Tarassov [et al.] // Intelligent Information Technologies for Industry (IITI'17): Proceedings of the Second International Scientific Conference. IITI 2017. Advances in Intelligent Systems and Computing. Springer, 2017. Vol. 679. P. 388-398. URL: https://link.springer.com/chapter/10.1007/978-3-319-68321-8_40
8. Поленов М.Ю., Костюк А.И., Лукьянов В.А. Анализ существующих угроз для безопасности виртуальной среды // Информационные технологии, системный анализ и управление: сб. тр. XII Всерос. науч. конф. Ростов-на-Дону: Изд-во ЮФУ, 2015. Т. 1. C. 76-78.
9. Мунтян Е.Р., Костюк А.И., Лиотвейзен В.В. Особенности виртуальной карты для расчета марша соединений // Инновационное развитие современной науки: сб. ст. Междунар. науч.-практ. конф., г. Уфа 14 марта 2015 г.: в 2 частях. Уфа: Аэтерна, 2015. Ч. 1. С. 49-52.
10. GAPS (GPS Analysis and Positioning Software). URL: http://gaps.gge.unb.ca/submitbasic.php (дата обращения: 25.05.2020).
References
1. Kostyuk A.I., Bespalov D.A., Romanov V.V. Principles of creating a system for processing and storing GNSS data for the task of protecting the perimeter // Bulletin of the Adyghe State University. Ser.: Natural-Mathematical and Technical Sciences. 2020. Iss. 2 (261). P. 74-79. URL: http://vestnik. adygnet.ru
2. Kostyuk A.I., Shapoval N.E. A conceptual model of a geodatabase of features // Informa-
tion systems and technologies: fundamental and applied research: Collection of articles of the 2nd Russian scient. and pract. conference of young scientists, graduate students, undergraduates and students. Taganrog, 2017. P. 448-450.
3. Kostyuk A.I. Isomorphno-probalistic identification of images // Modern high technologies. 2017. No. 6. P. 58-61. URL: http://www.top-technologies.ru/ru/article/view?id=36698
4. Integration of Models of Adaptive Behavior of Ant and Bee Colony (2019) / B.K. Lebedev, O.B. Lebedev, E.M. Lebedeva, A.I. Kostyuk // Artificial Intelligence and Algorithms in Intelligent Systems. Advances in Intelligent Systems and Computing / Silhavy R. (eds). Springer, 2018. Vol. 764. URL: https://www.scopus.com/authid/detail.uri?authorId=57196048780
5. Kostyuk A.I., Muntyan E.R., Polenov M.Yu. On the approach to modernization of the software system for supporting management decisions // News of SFU. Technical Sciences. 2015. No. 3. P. 46-54.
6. Research of virtualization deployment possibility in Smart House control systems / A.I. Kostyuk, M.Yu. Polenov, E.R. Muntyan, V.A. Lukyanov, A.Yu. Nikolava // Informatization and Communication. 2015. No. 3. P. 72-77.
7. VLSI Planning Based on the Ant Colony Method / B.K. Lebedev, O.B. Lebedev, E.O. Lebedeva, A.I. Kostyuk; ed. by A. Abraham, S. Kovalev, V. Tarassov [et al.] // Intelligent Information Technologies for Industry (IITI'17): Proceedings of the Second International Scientific Conference. IITI 2017. Advances in Intelligent Systems and Computing. Springer, 2017. Vol. 679. P. 388-398. URL: https://link.springer.com/chapter/10.1007/978-3-319-68321-8_40
8. Polenov M.Yu., Kostyuk A.I., Lukyanov V.A. Analysis of existing threats to the security of the virtual environment // Information technologies, system analysis and management: Proceedings of the 12th Russian Scientific Conference. Rostov-on-Don: Publishing House of SFU, 2015. Vol. 1. P. 76-78.
9. Muntyan E.R., Kostyuk A.I., Liotweisen V.V. Features of a virtual map for calculating the connection march // The innovative development of modern science: a collection of articles of the International scient. and pract. conference, Ufa March 14, 2015: in 2 parts. Ufa: Aeterna, 2015. Pt. 1. P. 49-52.
10.GAPS (GPS Analysis and Positioning Software). URL: http://gaps.gge.unb.ca/submitbasic.php (access date: 25.05.2020).
Авторы заявляют об отсутствии конфликта интересов. The authors declare no conflicts of interests.
Статья поступила в редакцию 3.08.2021; одобрена после рецензирования 1.09.2021; принята к публикации 2.09.2021.
The article was submitted 3.08.2021; approved after reviewing 1.09.2021; accepted for publication 2.09.2021.
© А Н. Костюк, Н.М. Коробейникова, 2021
