ПРЕИМУЩЕСТВА РЕАКТИВНОГО ПОДХОДА В ВЫСОКОНАГРУЖЕННЫХ МИКРОСЕРВИСНЫХ СИСТЕМАХ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004

Глумов К.С.

ведущий инженер-программист, Альфа-Банк (г. Пермь, Россия)

ПРЕИМУЩЕСТВА РЕАКТИВНОГО ПОДХОДА В ВЫСОКОНАГРУЖЕННЫХ МИКРОСЕРВИСНЫХ СИСТЕМАХ

Аннотация: современные высоконагруженные микросервисные системы требуют новых подходов для обеспечения их масштабируемости, отзывчивости и отказоустойчивости. Традиционные методы синхронного программирования часто оказываются недостаточно эффективными в условиях динамически изменяющейся нагрузки и возросших требований к производительности. В данной статье исследуется реактивный подход к разработке высоконагруженных микросервисных систем, который основывается на асинхронной обработке данных, что позволяет значительно улучшить использование ресурсов и повысить эффективность систем. Реактивная модель взаимодействия между сервисами снижает время блокировок и увеличивает скорость отклика, что делает её особенно актуальной для обработки большого количества запросов в режиме реального времени.

Применение таких фреймворков, как Project Reactor и Spring WebFlux, позволяет разработчикам создавать системы, обладающие высокой устойчивостью и эластичностью, что подтверждается успешными внедрениями в таких компаниях, как Netflix и LinkedIn. В статье анализируются преимущества и вызовы внедрения реактивного подхода, включая необходимость освоения новых концепций программирования и адаптации существующих архитектур к асинхронной модели.

Научная новизна работы заключается в комплексном исследовании практического применения реактивного программирования в высоконагруженных микросервисных системах и в систематизации опыта его использования в реальных проектах.

Ключевые слова: реактивное программирование, микросервисная архитектура, асинхронная обработка, высоконагруженные системы, Project Reactor, Spring WebFlux.

Введение.

Современные высоконагруженные микросервисные системы представляют собой одну из ключевых областей развития информационных технологий, находящих широкое применение в различных отраслях, таких как финансы, ритейл и медиа. С ростом объемов данных и числа пользователей возникают требования к увеличению масштабируемости и отказоустойчивости приложений, что ставит разработчиков перед необходимостью поиска новых подходов к организации взаимодействия между сервисами. В условиях динамического изменения нагрузки и необходимости высокой скорости обработки запросов традиционные методы синхронного программирования нередко оказываются недостаточно эффективными. Возникают проблемы с блокировкой потоков, что приводит к нерациональному использованию ресурсов и увеличению времени отклика системы.

Реактивное программирование, основанное на асинхронной модели обработки данных, предлагает решение этих проблем. Этот подход позволяет значительно повысить производительность систем за счет уменьшения времени блокировки и увеличения отзывчивости приложений. Реактивные системы реагируют на изменения состояния данных и запросы пользователей без избыточного потребления системных ресурсов, что делает их особенно полезными в условиях высокой нагрузки. В последние годы реактивное программирование получило широкое распространение благодаря поддержке со стороны таких фреймворков, как Project Reactor и Spring WebFlux, которые активно применяются в построении распределенных микросервисных архитектур.

Актуальность данной темы обусловлена необходимостью разработки и внедрения высокоэффективных систем, способных выдерживать значительные нагрузки и обеспечивать бесперебойную работу в условиях постоянно растущих требований к обработке данных. Реактивный подход позволяет оптимизировать взаимодействие между сервисами, улучшить масштабируемость приложений и снизить риски перегрузки. Важность использования реактивных систем

подчеркивается примерами успешных внедрений в крупных компаниях, таких как Netflix и LinkedIn, что свидетельствует о практической значимости данного подхода.

Цель работы — исследовать преимущества реактивного подхода в высоконагруженных микросервисных системах, выявить основные принципы его применения и проанализировать примеры успешных внедрений в различных отраслях.

1. Основные принципы реактивного подхода.

Микросервисная архитектура подразумевает распределение приложения на множество процессов, которые могут работать на разных серверах. Использование традиционного императивного программирования с синхронными вызовами для межсервисного взаимодействия часто приводит к блокировке потоков в ожидании ответов от других сервисов, что в свою очередь ведет к неэффективному использованию ресурсов.

Реактивное программирование предлагает иной подход, позволяя повысить эффективность использования ресурсов за счет асинхронного выполнения операций и сокращения времени блокировок, что особенно важно для современных высоконагруженных приложений. Оно позволяет обрабатывать данные асинхронно, эффективно управляя потоками данных и их синхронизацией. Ниже на рисунке 1 будет представлен принцип реактивного подхода. В свою очередь парадигма поддерживается такими фреймворками и библиотеками, как Project Reactor, RxJava и Spring WebFlux.

Рис.1. Принцип работы реактивного подхода [8].

Основные принципы реактивного программирования описаны в "Реактивном манифесте", который выделяет следующие характеристики современных приложений:

• Отзывчивость (своевременное реагирование на запросы).

• Устойчивость (способность сохранять отзывчивость при сбоях).

• Эластичность (способность поддерживать отзывчивость при изменении нагрузки).

• Асинхронная передача сообщений (использование асинхронных механизмов обмена данными).

Для создания реактивных систем необходимо решить ряд задач, таких как распределение задач, обеспечение согласованности данных и управление сбоями. Реактивное программирование может использоваться для реализации асинхронных и неблокирующих моделей для отдельных сервисов, но полное проектирование системы в реактивном стиле требует комплексного подхода.

Основные компоненты реактивного программирования включают:

• Observables: источники данных, которые генерируют элементы по мере времени и позволяют подписчикам отслеживать и реагировать на события.

• Подписчики: компоненты, которые потребляют события из Observables и выполняют действия в ответ на них.

• Операторы: функции, применяемые к Observables для обработки событий, включая фильтрацию и трансформацию данных.

Использование реактивного подхода позволяет значительно улучшить производительность веб-сервисов, особенно в условиях высокой нагрузки. Например, при обслуживании большого числа пользователей Netty может значительно превосходить Tomcat по количеству одновременно обрабатываемых запросов. В условиях вертикального масштабирования реактивное программирование может обеспечивать в два раза больше пользователей одновременно.

Реактивное программирование также предлагает преимущества в виде слабой связности, например, автоматическое восстановление соединения после его разрыва. Это позволяет избежать временных ограничений, так как соединение устанавливается для каждого потока отдельно.

Тем не менее, реактивное программирование требует особого стиля программирования и освоения новых концепций, что может быть сложно для разработчиков, привыкших к традиционному императивному стилю. Использование библиотек, таких как Project Reactor и RxJava, требует внимательного подхода, особенно при работе с реляционными базами данных, где реактивность может быть ограничена [1].

Реактивное программирование может быть реализовано различными средствами в зависимости от используемого языка программирования. Основные реализации включают:

• ReactiveX: Это библиотека, поддерживающая реактивное программирование для различных языков, таких как Java, C#, JavaScript, Python, и других, предоставляя набор операторов для работы с потоками данных.

• Reactor: Библиотека для Java, предлагающая средства для работы с наблюдаемыми объектами и потоками данных, поддерживающая реактивное программирование.

• Akka: Фреймворк для создания распределённых приложений на Scala и Java, реализующий actor-модель, обеспечивающую масштабируемость и отказоустойчивость.

• RxJS: Библиотека для JavaScript, обеспечивающая реактивное программирование с помощью наблюдаемых объектов и операторов.

• Spring WebFlux: Фреймворк для создания реактивных приложений на Java, интегрированный с Spring и использующий реактивные потоки данных.

Концепция управления событиями также имеет несколько реализаций, применяемых в создании распределённых систем:

• Apache Kafka: Распределённая платформа для обработки потоков данных с использованием модели publish-subscribe для обмена сообщениями в реальном времени.

• RabbitMQ: Открытая реализация протокола AMQP, обеспечивающая брокер сообщений для обработки и распределения сообщений.

• Apache ActiveMQ: Платформа обмена сообщениями с реализацией JMS, позволяющая передавать сообщения между клиентами.

• AWS Lambda: Сервис для выполнения кода в ответ на события, такие как изменения в хранилищах данных или приложениях.

• Apache Spark: Платформа для обработки больших объемов данных с использованием концепции управления событиями.

• Redis: База данных в памяти с реализацией модели publish-subscribe для обмена сообщениями [2].

В качестве практического примера будет рассмотрена разработка веб-приложения для онлайн-магазина с использованием Spring WebFlux и Apache Kafka. Этот пример демонстрирует применение реактивного программирования и управления событиями.

<dependencies>

<!-- Spring WebFlux -->

<dependency>

<groupId>org.springframework.boot</groupId>

<artifactId>spring-boot-starter-webflux</artifactId>

</dependency>

<!-- Apache Kafka --> <dependency>

<groupId>org.springframework.kafka</groupId>

<artifactId>spring-kafka</artifactId>

</dependency>

<!-- Jackson for JSON --> <dependency>

<groupId>com.fasterxml.jackson.core</groupId>

<artifactId>jackson-databind</artifactId>

</dependency>

<!-- Lombok (optional) --> <dependency>

<groupId>org. proj ectl omb ok</groupId> <artifactId>lombok</artifactId> <scope>provided</scope> </dependency>

<!-- Spring Boot Test --> <dependency>

<groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</ scope> </dependency>

<!-- Spring Kafka Test --> <dependency>

<groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka-test</artifactId> <scope>test</ scope> </dependency>

</dependencies>_

Конфигурация Kafka (application.yml):

spring: kafka:

bootstrap-servers: localhost:9092 consumer:

group-id: webflux-group auto-offset-reset: earliest producer:

key-serializer: org.apache.kafka.common.serialization.StringSerializer value-serializer: org.apache.kafka.common.serialization.StringSerializer consumer:

key-deserializer: org.apache.kafka.common.serialization.StringDeserializer value-deserializer: org.apache.kafka.common.serialization.StringDeserializer

KafkaProducer для отправки сообщений:

import org.springframework.kafka.core.KafkaTemplate, import org.springframework.stereotype.Service, import reactor. core.publi sher.Mono,

@Service

public class KafkaProducer {

private final KafkaTemplate<String, String> kafkaTemplate,

public KafkaProducer(KafkaTemplate<String, String> kafkaTemplate) {

this.kafkaTemplate = kafkaTemplate, }

public Mono<Void> sendMessage(String topic, String message) {

return Mono.fromFuture(kafkaTemplate.send(topic, message).completable())

.then(),

}

J_

KafkaConsumer для обработки входящих сообщений:

import org.apache.kafka.clients.consumer.ConsumerRecord, import org.springframework.kafka.annotation.KafkaListener, import org.springframework.stereotype.Service, import reactor.core.publisher.Sinks,

@Service

public class KafkaConsumer {

private final Sinks.Many<String> sink = Sinks.many().multicast().onBackpressureBuffer(),

@KafkaListener(topics = "example-topic", groupId = "webflux-group") public void listen(ConsumerRecord<String, String> record) {

sink.tryEmitNext(record.value()), }

public Sinks.Many<String> getSink() {

return sink, }

J_

WebFlux Controller для обработки HTTP-запросов:

import org.springframework.http.HttpStatus, import org.springframework.web.bind.annotation.*, import reactor.core.publisher.Flux, import reactor. core.publi sher.Mono,

@RestController

@RequestMapping("/api/messages") public class MessageController {

private final KafkaProducer kafkaProducer, private final KafkaConsumer kafkaConsumer,

public MessageController(KafkaProducer kafkaProducer, KafkaConsumer kafkaConsumer) { this.kafkaProducer = kafkaProducer,

this.kafkaConsumer = kafkaConsumer,

}

@PostMapping

@ResponseStatus(Http Status. CREATED)

public Mono<Void> sendMessage(@RequestBody String message) {

return kafkaProducer.sendMessage("example-topic", message), }

@GetMapping(produces = "text/event-stream") public Flux<String> streamMessages() {

return kafkaConsumer.getSink().asFlux(), }

J_

Конфигурация Kafka в Spring:

import org.apache.kafka.clients.admin.NewTopic, import org.springframework.context.annotation.Bean, import org.springframework.context.annotation.Configuration, import org.springframework.kafka.config.TopicBuilder,

@Configuration public class KafkaConfig {

@Bean

public NewTopic createTopic() {

return TopicBuilder.name("example-topic")

.partitions(1)

.replicas(1)

.build(),

}

J_

Разработанное приложение представляет собой мультибрендинговый онлайн-магазин, интегрирующийся с различными брендами. Система включает несколько модулей:

• Клиентское приложение: Веб-сайт для взаимодействия с пользователем.

• Сервер приложений: Обрабатывает запросы и реализует бизнес-

логику.

• Сервер базы данных: Хранит необходимую информацию. Интеграция с внешними сервисами осуществляется через брокер

сообщений, который связывает сервер интеграционного приложения и серверы приложений. Взаимодействие происходит через два топика:

• order_topic: Хранит данные о заказах, которые отправляются и обновляются в базе данных через Kafka.

• device_topic: Хранит информацию о девайсах, обновляемую через брокер сообщений [3].

Таким образом, использование Spring WebFlux и Apache Kafka в данном примере демонстрирует эффективное использование ресурсов сервера и интеграцию с другими модулями Spring, что обеспечивает высокую производительность и отзывчивость приложения.

2. Применение реактивного подхода в микросервисной архитектуре.

Современная архитектура программного обеспечения играет ключевую роль в обеспечении удобства обслуживания и масштабируемости приложений. Правильный выбор архитектурного стиля является сложной задачей, требующей тщательного анализа функциональных требований приложения, сроков реализации проекта, бизнес-требований и опыта команды разработчиков. В то время как микросервисная архитектура демонстрирует явные преимущества для сложных приложений и облачных решений, начальная разработка монолитной архитектуры может быть оправданным шагом, который впоследствии может быть преобразован в микросервисную модель.

Микросервисная архитектура представляет собой метод построения приложений, разделяя их на множество мелких, автономных сервисов. Каждый из таких сервисов функционирует в рамках отдельного процесса и взаимодействует с другими через упрощенные механизмы, такие как RESTful веб-сервисы. Эти сервисы, как правило, занимаются выполнением одной конкретной бизнес-функции, такой как аутентификация, уведомления или обработка платежей. Важно отметить, что в рамках этой архитектуры могут применяться различные технологические стеки, базы данных и языки программирования, что обеспечивает гибкость и независимость при масштабировании и развертывании.

В микросервисных системах данные часто хранятся локально в отдельных базах данных, что может привести к сложностям в управлении распределенными данными и бизнес-транзакциями. Однако архитектура, основанная на событиях, позволяет решить эти проблемы путем публикации и обработки событий, что способствует эффективной обработке данных и масштабируемости [4]. Далее в таблице 1 будут представлены преимущества и вызовы внедрения реактивного подхода в высоконагруженных системах.

Таблица 1. Преимущества и вызовы внедрения реактивного подхода в высоконагруженных системах [4].

Аспект Описание

Преимущества

Высокая масштабируемость Реактивный подход позволяет эффективно обрабатывать высокие нагрузки, динамически распределяя ресурсы и масштабируя систему по мере необходимости.

Повышенная отзывчивость Реактивные системы оперативно реагируют на изменения, обеспечивая минимальные задержки и высокий уровень пользовательского опыта даже при пиковых нагрузках.

Устойчивость к сбоям Благодаря асинхронной обработке запросов и распределению нагрузки, система остаётся стабильной даже в случае частичных сбоев или перегрузки отдельных компонентов.

Экономия ресурсов Реактивные системы оптимизируют использование ресурсов, эффективно распределяя их между задачами, что снижает общие затраты на инфраструктуру и поддержку.

Вызовы

Сложность разработки Внедрение реактивного подхода требует сложных архитектурных решений, асинхронного программирования и более глубокого понимания распределённых систем.

Отладка и мониторинг Асинхронная природа реактивных систем затрудняет их отладку и мониторинг, так как ошибки могут возникать непредсказуемо и в разных частях системы.

Совместимость с существующими решениями Переход к реактивной архитектуре требует пересмотра и адаптации существующих компонентов и процессов, что может потребовать значительных временных и финансовых затрат.

Крутая кривая обучения Разработчикам и операторам необходимо освоить новые инструменты и методы, связанные с асинхронным программированием и управлением реактивными потоками данных.

421

Далее в рамках статьи будут рассмотрены примеры компаний, успешно внедривших реактивный подход:

1. Netflix — один из самых известных примеров компании, использующей реактивную архитектуру для управления миллионами пользователей одновременно. Netflix применяет реактивные библиотеки, такие как Hystrix, для обработки ошибок и обеспечения устойчивости своих сервисов. Это позволило компании снизить количество сбоев и повысить производительность системы, обеспечив при этом высокий уровень пользовательского опыта.

2. LinkedIn — социальная сеть для профессионалов, которая также перешла на реактивный подход, чтобы справляться с ростом нагрузки на свои системы. LinkedIn использует фреймворки на базе реактивной модели для обработки огромного объема событий в реальном времени, таких как обновления профилей, сообщения и запросы на добавление в контакты. Это позволило улучшить время отклика системы и снизить нагрузку на серверы.

3. PayPal — финансовая компания, которая внедрила реактивный подход для обеспечения быстрого и надежного обслуживания своих пользователей. Внедрение реактивных технологий позволило PayPal эффективно управлять транзакциями в реальном времени, снизить задержки при обработке платежей и повысить масштабируемость своих сервисов [5,6].

4. Опыт SimbirSoft при создании сервиса для начисления кэшбэка. Одна страховая компания попросила модернизировать своё онлайн-приложение, построенное на микросервисах. Основная цель заключалась в интеграции механизма кэшбэка, который предусматривал начисление бонусных баллов при приобретении или продлении страхового полиса. Задачи включали в себя:

1. При каждой оплате или продлении полиса пользователю начисляются бонусные баллы через специальный бухгалтерский сервис, с возможностью получения доступа к информации об этом процессе.

2. Когда сумма накопленных бонусов достигает установленного порога, средства автоматически перечисляются на счет пользователя, а информация о выплатах становится доступна через тот же бухгалтерский сервис.

Для обмена данными между микросервисами в проекте применялась очередь сообщений Kafka, также выполняющая функцию реплицированного хранилища данных.

На первом этапе работы необходимо было выделить ключевые функциональные блоки системы на основе технического задания, которые впоследствии должны быть реализованы как отдельные микросервисы. Структура системы включала три основных процесса:

1. Получение данных из внешних источников, таких как информация о пользователях, оплате и полисах, для дальнейшего начисления кэшбэка. Этот блок можно условно назвать «Калькулятор».

2. Взаимодействие с пользователем: обращение к хранилищу данных для извлечения информации о начисленных баллах. Данный блок представляет собой сервис «Хранилище».

3. Связь с бухгалтерским модулем для проведения операций по начислению и выплатам бонусных баллов, что делает его третьим компонентом системы — «Бухгалтером».

Таким образом, структура приложения представляет собой простую модель взаимодействия нескольких сервисов, обеспечивающую эффективную работу системы начисления кэшбэка, для наглядности структура будет отражена на рисунке 2.

Рис.2. Структура приложения [7].

Применение реактивного подхода предоставило возможность относительно просто реализовать асинхронную работу, сделав решение наглядным и понятным для последующей поддержки [7].

Заключение.

Реактивный подход в высоконагруженных микросервисных системах демонстрирует значительные преимущества, такие как улучшенная масштабируемость, отзывчивость и управление нагрузкой. Применение асинхронных операций способствует эффективному использованию ресурсов и снижению времени отклика. Тем не менее, внедрение реактивных решений требует глубокого понимания новых парадигм программирования и их применения в реальных проектах. Несмотря на сложности, связанные с разработкой и сопровождением, результаты внедрения реактивного подхода, такие как повышение отказоустойчивости и улучшение пользовательского опыта, делают его перспективным решением для современных высоконагруженных систем.

СПИСОК ЛИТЕРАТУРЫ:

1. Рубцова Л. Э. Исследование влияния физической подготовки на трудовую деятельность специалистов по программированию в компьютерных системах //Актуальные исследования. - 2024. - №. 35 (217). - С. 45-51;

2. Полетаев В. В. Использование реактивного программирования с концепцией управления событиями при разработке веб-приложений //ББК 1 Н. -№. 34. - С. 2751;

3. Литовка Н. В., Гусаров Р. Д. Обзор и применение реактивного программирования //Фундаментальные и прикладные научные исследования: актуальные. - 2020. - С. 46;

4. Карпович М. Н. Особенности проектирования микросервисно-событийных архитектур для высоконагруженных распределенных систем обработки информаций //Труды БГТУ. Серия 3: Физико-математические науки и информатика. - 2023. - №. 1 (266). - С. 89-95;

5. Бычков К. В., Кирчева А. С., Мамедов И. В. Сравнительный анализ реляционных и нереляционных систем управления базами данных: особенности, преимущества и недостатки //Молодежный научный форум. - С. 46;

6. Родыгина И. В., Наливайко А. В. Сравнительный анализ технологий для разработки серверной части системы управления продажами //Известия Южного федерального университета. Технические науки. - 2021. - №. 4 (221). - С. 256266;

7. Project Reactor — реактивный подход в высоконагруженном приложении. [Электронный ресурс] Режим доступа: https://otus.ru/nest/post/1260;

8. Всегда ли нужны Docker, микросервисы и реактивное программирование. [Электронный ресурс] Режим доступа: https://habr.com/ru/companies/datrt/articles/436346/

Glumov K.S.

Leading software engineer, Alfa-Bank (Perm, Russia)

ADVANTAGES OF REACTIVE APPROACH IN HIGH-LOAD MICROSERVICE SYSTEMS

Abstract: modern high-load microservice systems require new approaches to ensure their scalability, responsiveness and fault tolerance. Traditional methods of synchronous programming often turn out to be insufficiently effective in conditions of dynamically changing loads and increased performance requirements. This article explores a reactive approach to the development of high-load microservice systems, which is based on asynchronous data processing, which can significantly improve resource utilization and increase system efficiency. The reactive model of interaction between services reduces the blocking time and increases the response speed, which makes it especially relevant for processing a large number of requests in real time.

The use of frameworks such as Project Reactor and Spring WebFlux allows developers to create systems with high stability and elasticity, which is confirmed by successful implementations in companies such as Netflix and LinkedIn. The article analyzes the advantages and challenges of implementing a reactive approach, including the need to master new programming concepts and adapt existing architectures to the asynchronous model.

The scientific novelty of the work consists in a comprehensive study of the practical application of reactive programming in highly loaded microservice systems and in systematizing the experience of its use in real projects.

Keywords: reactive programming, microservice architecture, asynchronous processing, high-load systems, Project Reactor, Spring WebFlux.