CC BY
5
DOI - 10.32743/UniTech.2024.127.10.18388
ОПТИМИЗАЦИЯ ПРОИЗВОДИТЕЛЬНОСТИ БАЗ ДАННЫХ MONGODB В МИКРОСЕРВИСНОЙ АРХИТЕКТУРЕ
Глумов Константин Сергеевич
ведущий инженер-программист, Альфа-Банк РФ, г. Пермь E-mail: glumovk@gmail. com
OPTIMIZING THE PERFORMANCE OF MONGODB DATABASES IN A MICROSERVICE ARCHITECTURE
Konstantin Glumov
Lead software engineer at Afa-Bank Russia, Perm
АННОТАЦИЯ
Микросервисная архитектура стала основным подходом к проектированию современных распределенных систем, обеспечивая гибкость, масштабируемость и независимость компонентов. В этой архитектуре MongoDB, одна из самых популярных NoSQL баз данных, играет ключевую роль благодаря своим возможностям горизонтального масштабирования и обработки больших объемов данных. Однако с увеличением количества сервисов и объемов данных возникают проблемы, связанные с производительностью, что может снижать эффективность системы. Данное исследование направлено на изучение методов оптимизации MongoDB в контексте микросервисной архитектуры. Основные области оптимизации включают улучшение запросов, моделирование данных, использование кэширования, а также мониторинг и управление ресурсами. Оптимизация этих факторов помогает повысить производительность базы данных, обеспечивая стабильную работу системы в условиях динамической нагрузки и необходимости масштабирования. Цель исследования — анализ существующих методов и разработка рекомендаций для повышения эффективности MongoDB в распределенных системах, что особенно актуально для обеспечения надежности и высокой производительности в современных условиях.
ABSTRACT
Microservice architecture has become the primary approach to designing modern distributed systems, providing flexibility, scalability, and component independence. In this architecture, MongoDB, one of the most popular NoSQL databases, plays a crucial role due to its horizontal scalability and ability to handle large volumes of data. However, as the number of services and data volumes grow, performance issues may arise, potentially reducing the system's overall efficiency. This study focuses on examining methods to optimize MongoDB performance within microservice architecture. Key areas of optimization include query improvement, data modeling, caching, as well as resource monitoring and management. Optimizing these factors enhances database performance, ensuring stable and responsive system operation under dynamic load and scaling needs. The goal of the research is to analyze existing methods and provide recommendations for improving MongoDB efficiency in distributed systems, particularly to ensure reliability and high performance in modern environments.
Ключевые слова: оптимизация производительности, MongoDB, микросервисы, шардирование, репликация, кэширование, мониторинг, запросы.
Keywords: performance optimization, MongoDB, microservices, sharding, replication, caching, monitoring, queries.
Введение
В современных условиях микросервисная архитектура стала одним из основных подходов к проектированию распределённых систем, обеспечивая гибкость, масштабируемость и независимость компонентов. Важнейшим элементом такой архитектуры являются базы данных, которые должны эффективно обрабатывать большие объёмы данных,
обеспечивать высокую доступность и производительность. MongoDB, как одна из наиболее популярных NoSQL баз данных, находит широкое применение в микросервисных системах благодаря своим возможностям горизонтального масштабирования, поддержке обработки больших данных и гибкости в управлении информацией.
Актуальность исследования обусловлена возрастающей потребностью в оптимизации работы
Библиографическое описание: Глумов К.С. ОПТИМИЗАЦИЯ ПРОИЗВОДИТЕЛЬНОСТИ БАЗ ДАННЫХ MONGODB В МИКРОСЕРВИСНОЙ АРХИТЕКТУРЕ // Universum: технические науки : электрон. научн. журн. 2024. 10(127). URL: https://7universum.com/ru/tech/archive/item/18388
MongoDB в микросервисной архитектуре. С увеличением количества сервисов и объёма данных возникают сложности, связанные с производительностью баз данных, что может привести к снижению эффективности всей системы. Оптимизация производительности MongoDB является важным условием для обеспечения стабильной и быстрой работы микросервисов, особенно в условиях динамически изменяющихся нагрузок и масштабирования.
Среди ключевых аспектов, которые необходимо учитывать при работе с MongoDB в микросервисной архитектуре, выделяются оптимизация запросов, правильное моделирование данных, использование кэширования, а также мониторинг и управление ресурсами базы данных. Решение этих задач требует применения комплексного подхода, который обеспечит не только высокую производительность баз данных, но и их надёжность в условиях высокой нагрузки.
Цель работы заключается в изучении и анализе существующих методов оптимизации производительности MongoDB в микросервисной архитектуре, а также разработка рекомендаций для повышения эффективности работы баз данных в распределённых системах.
Материалы и Методы
MongoDB представляет собой высокомасштаби-руемую и адаптивную систему управления базами данных на основе документов, относящуюся к классу NoSQL решений. Она была создана для устранения недостатков реляционных баз данных и улучшения
других существующих NoSQL технологий. Благодаря возможности горизонтального масштабирования и распределения нагрузки, MongoDB предоставляет разработчикам неограниченные возможности по увеличению производительности и гибкости при работе с данными. Документы в MongoDB хранятся в формате BSON — бинарном представлении JSON. Этот формат обеспечивает более быструю работу с данными по сравнению с текстовым JSON, что особенно полезно для работы с мультимедийными данными. Кроме того, BSON предоставляет возможность хранения бинарных данных, таких как изображения и видео, что делает MongoDB отличным выбором для проектов с интенсивной обработкой данных [1].
Для проектирования микросервисной архитектуры мы будем применять инструменты Spring Boot и Spring Cloud. Такая архитектура выглядит следующим образом: в контексте Spring.
Для запуска данного проекта потребуется несколько служб, о которых будет рассказано отдельно. Во время работы с этим проектом, рекомендуется следовать инструкциям, изложенным в файле README.md, для каждой из служб.
Первый сервис, который необходим, — это сервер конфигурации. Он служит для хранения всех конфигурационных данных наших микросервисов в одном репозитории, что облегчает управление версиями и упрощает процесс работы с конфигурациями. Далее будет отражен пример простой настройки конфигурационного сервера:
yaml
spring.applicatioaname=config-server server.port=8888
spring.cloud.config.server.git.uri=${HOME}/Work/microservices-architecture-mongodb-config-repo spring.doud.config.label=main
Этот сервер позволяет получать доступ к git-репозиторию, в котором сохраняются конфигурационные данные микросервисов, и использовать нужную ветку. Важной частью настройки является
аннотация @EnableConfigServer, которая активирует необходимую функциональность для работы сервера конфигурации. Пример кода:
java
package com.mongodb.configserver;
import org. springframework.boot. SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.doud.config.server.EnableConfigServer;
@EnableConfigServer @SpringBootApplication public class ConfigServerApplication { public static void main(String[] args) {
SpringApplication.run(ConfigServerApplication.class, args);
}
}
Реестр служб выполняет функции каталогизации всех микросервисов, их текущих 1Р-адресов и портов. Это упрощает процесс взаимодействия между сервисами. Этот компонент полезен для балансировки
нагрузки и устранения зависимости между потребителями и поставщиками услуг.
Аннотация @EnaЫeEшrekaServer выполняет необходимые действия для включения реестра в систему:
java
package com.mongodb.serviceregistry;
import org. springframework.boot. SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org. springframework.cloud. netflix. eureka.server.EnableEurekaServer;
@SpringBootApplication @EnableEurekaServer public class ServiceRegistryApplication { public static void main(String[] args) {
SpringApplication.run(ServiceRegistryApplication.class, args);
}
}
Настройка реестра может выглядеть следующим образом:
yaml
spring.applicationname=service-registry server.port=8761
eureka.client.register-with-eureka=false eureka. client.fetch-registry=false
API-шлюз служит для объединения доступа ко всем микросервисам через единую точку входа. Это обеспечивает централизованную безопасность, мониторинг и отказоустойчивость. После регистрации
микросервисов в реестре АР1-шлюз может распределять запросы между ними, исходя из конфигурации маршрутизации.
Пример настройки АР1-шлюза:
yaml server: port: 8080
spring: application: name: api-gateway cloud: gateway: routes:
- id: company-service uri: lb://company-service predicates:
- Path=/api/company/**
- id: employee-service uri: lb://employee-service predicates:
- Path=/api/employee/**
eureka: client:
register-with-eureka: true fetch-registry: true service-url:
defaultZone: http://localhost:8761/eureka/ instance:
hostname: localhost
Для обеспечения независимости каждого микросервиса используются отдельные экземпляры
MongoDB для каждого из них. Пример конфигурации микросервиса компании:
yaml
spring.data.mongodb.uri=${MONGODB_URI_1 :mongodb ://localhost:27017} server.port=8081
eureka.client.register-with-eureka=true eureka. client.fetch-registry=true
eureka.client.service-url.defaultZone=http://localhost:8761/eureka/
Конфигурация микросервиса сотрудников аналогична, с отличием в порте MongoDB:
yaml
spring.data.mongodb.uri=${MONGODB_URI_2:mongodb://localhost:27018} server.port=8082
eureka.client.register-with-eureka=true eureka. client.fetch-registry=true
eureka.client.service-url.defaultZone=http://localhost:8761/eureka/
Это позволяет микросервисам работать независимо, используя разные кластеры MongoDB. После запуска всех служб (конфигурационного сервера, реестра услуг, API-шлюза и микросервисов) можно протестировать их взаимодействие через REST API [2].
Для успешного внедрения MongoDB в микросервисную архитектуру необходимо учитывать несколько аспектов:
• Четкое определение границ: границы между микросервисами должны быть определены в зависимости от бизнес-функционала и контекста предметной области.
• Ответственность за данные: каждая служба должна быть ответственна за управление своей моделью данных, что подразумевает контроль над операциями создания, чтения, обновления и удаления (CRUD).
• Уровень доступа к данным: создание отдельного уровня доступа, отвечающего за взаимодействие с MongoDB, значительно упрощает сопровождение и тестирование микросервисов.
Таким образом использование MongoDB в сочетании с микросервисами предоставляет разработчикам значительную гибкость, однако такая архитектура
может привести к росту сложности. Важно сбалансировать потребность в изолированных сервисах с издержками, связанными с управлением множеством баз данных и поддержанием целостности данных на уровне всей системы [3].
Результаты и Обсуждения
Оптимизация запросов — это процесс анализа и модификации запросов с целью уменьшения времени их выполнения и сокращения потребления ресурсов. В MongoDB предусмотрен специальный инструмент — метод ехр1аш(), который позволяет детально анализировать запросы и находить потенциальные зоны для улучшения их производительности.
Метод ехр1аш() возвращает расширенные сведения о процессе выполнения запроса, такие как план его выполнения, использование индексов и время обработки. Данные, предоставленные этим методом, помогают выявить проблемные места в запросах, позволяя провести их дальнейшую оптимизацию для улучшения производительности.
javascript
// Анализ производительности запроса db.collection.find({ поле: значение }).explain();
Проекция данных как способ оптимизации запросов. Позволяет уменьшить объем передаваемой информации и сокращает время выполнения запроса,
что особенно важно при работе с большими объемами данных [4].
javascript
// Извлечение только необходимых полей db.collection.find({ поле: значение }, { поле1: 1, поле2: 1 });
Использование пагинации для работы с большими наборами данных является эффективным способом обработки больших наборов данных, который подразумевает разбиение результатов
на страницы с помощью методов Итй() и skip0. Это помогает уменьшить нагрузку на сервер и улучшить время отклика.
javascript
// Получение данных частями db.coUection.find({}).skip(10).limit(10);
Кэширование часто используемых данных позволяет существенно уменьшить количество запросов к базе данных и ускорить время отклика. Использование решений вроде Redis для кэширования данных в памяти снижает нагрузку на MongoDB и повышает общую производительность. При структурировании данных важно минимизировать количество запросов, необходимых для получения нужной информации. Некоторые стратегии включают использование вложенных документов, массивов и денормализации, что позволяет избежать сложных операций соединения данных. Выбор правильных типов данных напрямую влияет на эффективность работы с базой данных. MongoDB поддерживает множество типов данных, и правильный их выбор для каждого поля обеспечивает более быструю обработку запросов. Например, хранение дат в формате дат позволяет эффективно выполнять запросы с диапазонами дат.
Постоянный мониторинг и плановое обслуживание являются обязательными для поддержания оптимальной работы MongoDB. Использование встроенных инструментов мониторинга, таких как db.serverStatus(), позволяет отслеживать состояние системы, а регулярная оптимизация индексов и уплотнение данных помогают предотвратить падение производительности [5].
Основные рекомендации по работе с агрегациями в MongoDB
Агрегации в MongoDB играют ключевую роль при работе с данными, особенно когда требуется получение аналитических выводов. Конвейеры агрегации позволяют автоматически обрабатывать данные, избегая ручного вмешательства, что минимизирует риск ошибок и повышает эффективность.
Однако важно правильно настроить конвейер агрегации, чтобы избежать потенциальных проблем с производительностью базы данных. К примеру, выполнение запроса без использования фильтров может значительно нагрузить систему [6].
Когда один из ресурсов, таких как CPU или дисковый I/O, достигает предела своих возможностей — когда постоянный рост графика использования останавливается на одном уровне —
это свидетельствует о возникновении дефицита данного ресурса, что может повлиять на производительность системы. Чаще всего такая ситуация возникает, если лимиты использования данного ресурса были полностью исчерпаны.
Высокий уровень использования CPU и значительные показатели Disk IO зачастую указывают на проблемы с неэффективными индексами или чрезмерную нагрузку на серверные узлы. Для начала диагностики необходимо определить характер нагрузки и выявить коллекции, вызывающие затруднения. В этом могут помочь встроенные средства мониторинга MongoDB. Анализируя логи и данные профилировщика, можно оценить эффективность выполнения запросов.
Стоит уделить особое внимание запросам:
• Не использующим индексы (planSummary: COLLSCAN), так как такие запросы приводят к увеличению I/O операций с диском и нагрузки на процессор (дефолтная компрессия данных требует дополнительных ресурсов для их декомпрессии). В случае, если индекс существует, но не задейству-ется, можно использовать команду hint для его принудительного использования.
• Имеющим высокие значения параметра docsExamined, что указывает на необходимость более эффективных индексов или создания новых.
• Для оперативной диагностики проблемных запросов в момент снижения производительности можно воспользоваться командой отображения текущих запросов в системе:
• Запросы всех пользователей
• Запросы текущего пользователя
Для выполнения данных операций пользователь должен обладать соответствующей ролью mdbMonitor. Следует также помнить, что каждый новый индекс может замедлить операции записи, поэтому важно использовать индексы с осторожностью. Для повышения эффективности запросов на чтение рекомендуется применять частичное извлечение (projection), что позволяет сократить объём данных, которые необходимо передать. В случае возникновения проблем с блокировками (locks), можно диагностировать их через анализ показателей writeConflicts и изучение текущих операций:
bash
db.currentOp({'$or': [{'locks.Global': 'W'}, {'locks.Database': 'W'}, {'locks.Collection': 'W'} ]}).inprog
Также можно найти запросы, ожидающие снятия блокировок:
bash
db.currentOp({'waitingForLock': true}).inprog
Если кластер начинает работать в режиме readonly, возможно, на одном из узлов возник дефицит свободного дискового пространства. Для мониторинга использования диска настройте оповещения и контролируйте графики по каждому хосту [7].
Эффективное управление базами данных, включая MongoDB, невозможно без регулярного мониторинга их состояния. Это критически важный элемент для поддержания стабильности работы кластера и оптимального использования ресурсов.
Несмотря на то, что MongoDB Atlas, являясь платформой Database-as-a-Service, предоставляет встроенные механизмы для управления производительностью и масштабируемостью, пользователям все равно необходимо понимать ключевые аспекты мониторинга для того, чтобы предотвратить возможные проблемы заранее.
В процессе наблюдения за MongoDB следует уделить внимание четырем основным областям, которые будут отражены на рисунке 1.
Рисунок 1. Области, используемые в процессе наблюдения за MongoDB [8]
Каждое из этих направлений можно детализировать с помощью различных команд и инструментов. Например, для контроля состояния экземпляров можно использовать команды rs.status() и sh.status(), которые позволяют отслеживать репликацию и состояние сегментированных кластеров. MongoDB Atlas предоставляет удобные интерфейсы для наблюдения за состоянием кластеров, используя визуальные метрики для отображения всех критических параметров.
Аппаратные ресурсы также требуют постоянного наблюдения. Высокая загрузка ЦП, дисковая задержка или недостаток оперативной памяти могут напрямую влиять на производительность MongoDB. Для этого MongoDB Atlas предоставляет графики, отображающие показатели работы оборудования,
такие как системный ЦП, свободное место на диске и использование оперативной памяти. Это помогает своевременно принимать меры для предотвращения сбоев и ухудшения работы системы.
Надежность и доступность данных в MongoDB обеспечиваются механизмом репликации, который также требует мониторинга. Важно отслеживать такие показатели, как задержка репликации и размер Ор^, чтобы убедиться, что данные копируются корректно и своевременно. MongoDB предоставляет встроенные команды для контроля этих метрик, такие как ге^^О и ге.рпйЯерИсайопШоО, которые позволяют оперативно реагировать на возможные проблемы.
№ 10 (127)
UNIVERSUM:
ТЕХНИЧЕСКИЕ НАУКИ
• 7universum.com
октябрь, 2024 г.
Для анализа работы MongoDB можно использовать как встроенные инструменты MongoDB Atlas, так и автономные команды, такие как mongostat и mongotop. Эти команды позволяют собирать информацию о состоянии серверов в режиме реального времени, отслеживать выполнение операций и контролировать использование ресурсов. Например, mongostat предоставляет краткий обзор состояния экземпляра, включая статистику памяти, соединений и очередей блокировок, что помогает поддерживать стабильную работу баз данных [8].
запросов и правильное моделирование данных, но и внедрение эффективных инструментов мониторинга и кэширования. Мониторинг состояния базы данных и регулярное обслуживание обеспечивают стабильную работу системы, а использование технологий шардирования и репликации способствует повышению масштабируемости и отказоустойчивости. Важно помнить, что каждая база данных в микросервисной архитектуре должна быть изолированной, и её производительность должна поддерживаться на высоком уровне за счёт продуманной архитектуры и регулярной оптимизации процессов.
Заключение
Оптимизация производительности MongoDB в микросервисной архитектуре требует комплексного подхода, включающего не только оптимизацию
Список литературы:
1. Nicolau D. Functional elements specific to MongoDB databases // Romanian Cyber Security Journal. - 2021. - Т. 3. -№. 1. - С. 39-49.
2. Нуркаев Р., Пивоваров В.В. Управление API-шлюзом на основе архитектуры микросервиса // Инновации и инвестиции. - 2023. - №. 5. - С. 193-197.
3. Бердникова А.С. Проблема потоковой обработки данных с использованием микросервисной архитектуры в аналитических системах // Цифровые, компьютерные и информационные технологии в науке и. - 2023. -
4. Закирова Ю.М. Метод оптимизации поисковых запросов в СУБД MongoDB // Фундаментальные и прикладные научные исследования: инноватика в современном Мире. - 2020. - С. 30-35.
5. Чуб В.С. Интеграция MongoDB в процесс обучения нейронных сетей: эффективное хранение и управление данными для глубокого обучения //Молодой исследователь Дона. - 2024. - Т. 9. - №. 1. - С. 35-38.
6. Буйволов Е.А. Сравнение производительности современных NoSQL баз данных с реляционной базой данных Sybase ASA 9. 02 //Проблемы науки. - 2020. - №. 6 (54). - С. 26-30.
7. Трофименко М.С., Кумратова А.М., Пополитов А.В. Изучение принципов работы NOSQL и SQL баз данных и их сравнение на примере Postgres Pro и MongoDB //Цифровизация экономики: направления, методы, инструменты. - 2021. - С. 342-347.
8. Галиева Р.Р., Чадин В.Н. Методы автоматизации Асу Тп методической печи // Эффективное обеспечение научно-технического прогресса. - 2024. - С. 28.
С. 267.
