Научная статья на тему 'Эволюция и особенности гиперконвергентных инфраструктур'

Эволюция и особенности гиперконвергентных инфраструктур Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
176
45
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
гиперконвергентность / конвергентность / ИТ-инфраструктура / виртуализация / архитектура / модульность / компоненты / серверы / система хранения данных / центр обработки данных. / hyperconvergence / convergence / IT infrastructure / virtualization / architecture / modularity / components / servers / storage / data center.

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Ю. М. Лисецкий

Статья посвящена гиперковергентным инфраструктурам, которые в настоящее время весьма востребованы предприятиями и организациями для построения гибкой ИТ-инфраструктуры облачного уровня, не используя для этого публичные ресурсы, а размещая оборудование в собственных центрах обработки данных или в частных облаках. Рассмотрены эволюция гиперконвергентных инфраструктур, их особенности и преимущества. Появление гиперконвергентных инфраструктур является закономерным этапом развития ИТ-инфраструктур и следующим логическим шагом от конвергентных инфраструктур. Концепция конвергентных инфраструктур предполагает комбинирование нескольких инфраструктурных компонентов в предварительно интегрированный комплекс с помощью связующего ПО. Эта концепция, в свою очередь, является развитием традиционных подходов к построению ИТ-инфраструктуры. Гиперконвергентные инфраструкутры развивают концепцию конвергентных структур, добавляя в нее понятие модульности. Благодаря этому все необходимые виртуализированные вычислительные ресурсы, сетевые системы и системы хранения данных работают автономно внутри отдельных модулей, которые представляют собой готовые виртуализированные вычислительные ресурсы. Они, как правило, объединяются в группы, чтобы обеспечить отказоустойчивость, высокую производительность и гибкость в создании ресурсных пулов. Одна из основных причин актуальности гиперконвергентных инфраструкутр заключается в том, что не все организации и предприятия для снижения затрат на построение собственной ИТ-инфраструктуры готовы перевести свои сервисы и приложения в публичное облако, хотя многие из них заинтересованы в реализации преимуществ облачных технологий в собственной инфраструктуре, а гиперконвергентные инфраструктуры дают возможность это сделать. Они являются альтернативой аренды облачных сервисов у сторонних компаний-провайдеров услуг, так как с их помощью стало возможным развертывание собственных частных облаков, которыми полностью распоряжаются организации и предприятия. Поэтому гиперконвергентная инфраструктура стала доминирующей аппаратной платформой для размещения частных облаков, виртуальных рабочих мест и сред разработки новых приложений.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Evolution and features of hyperconverged infrastructures

The paper considers hyperconverged infrastructures that are widely used by companies to build a flexible cloud-level IT infrastructure. This infrastructure only uses private data centers or clouds and do not use public resources. The paper describes the evolution of hyperconverged infrastructures, their features and strong points. Emergence of hyperconverged infrastructures is a logical step forward in development of IT infrastructures and the next level of converged infrastructures. The concept of hyperconverged infrastructures combines several infrastructure components into the complex initially integrated using connection software. This concept is a development of traditional approaches to building an IT infrastructure. Hyperconverged infrastructures further develop the concept of converged infrastructures adding the modularity concept. It makes operation of all virtualized computing, network and storage resources autonomous inside separate modules, which are virtualized computing resources. Typically, they are grouped to provide fault tolerance, high performance and flexibility in building resource pools. One of essential reasons why hyperconverged infrastructures are important is that not all enterprises are ready to migrate their services and applications into public cloud in order the eliminate costs of building own IT infrastructure. However, many of them are interested in taking advantages of cloud technologies in their infrastructures and hyperconverged infrastructures give such opportunity. They are a realistic alternative to leasing cloud services from third party providers as the hyperconverged infrastructures enable deployment of private clouds fully under control of an enterprise. Therefore, hyperconverged infrastructures dominate as a hardware platform to build private clouds, virtualized working places, and to develop new applications.

Текст научной работы на тему «Эволюция и особенности гиперконвергентных инфраструктур»

УДК 519.25+004.9 Дата подачи статьи: 14.06.19

DOI: 10.15827/0236-235X.128.541-546 2019. Т. 32. № 4. С. 541-546

Эволюция и особенности гиперконвергентнъх

инфраструктур

Ю.М. Лисецкий 1, д.т.н, генеральный директор, УигИ.Ыэе1^зку{@рп^-иа 1ДП «ЭС ЭНД ТИ УКРАИНА», г. Киев, 03680, Украина

Статья посвящена гиперковергентным инфраструктурам, которые в настоящее время весьма востребованы предприятиями и организациями для построения гибкой ИТ-инфраструктуры облачного уровня, не используя для этого публичные ресурсы, а размещая оборудование в собственных центрах обработки данных или в частных облаках.

Рассмотрены эволюция гиперконвергентных инфраструктур, их особенности и преимущества. Появление гиперконвергентных инфраструктур является закономерным этапом развития ИТ-инфраструктур и следующим логическим шагом от конвергентных инфраструктур. Концепция конвергентных инфраструктур предполагает комбинирование нескольких инфраструктурных компонентов в предварительно интегрированный комплекс с помощью связующего ПО. Эта концепция, в свою очередь, является развитием традиционных подходов к построению ИТ-инфраструктуры. Гиперконвергентные инфраструкутры развивают концепцию конвергентных структур, добавляя в нее понятие модульности. Благодаря этому все необходимые виртуализированные вычислительные ресурсы, сетевые системы и системы хранения данных работают автономно внутри отдельных модулей, которые представляют собой готовые виртуализированные вычислительные ресурсы. Они, как правило, объединяются в группы, чтобы обеспечить отказоустойчивость, высокую производительность и гибкость в создании ресурсных пулов.

Одна из основных причин актуальности гиперконвергентных инфраструкутр заключается в том, что не все организации и предприятия для снижения затрат на построение собственной ИТ-инфраструктуры готовы перевести свои сервисы и приложения в публичное облако, хотя многие из них заинтересованы в реализации преимуществ облачных технологий в собственной инфраструктуре, а гиперконвергентные инфраструктуры дают возможность это сделать. Они являются альтернативой аренды облачных сервисов у сторонних компаний-провайдеров услуг, так как с их помощью стало возможным развертывание собственных частных облаков, которыми полностью распоряжаются организации и предприятия. Поэтому гиперконвергентная инфраструктура стала доминирующей аппаратной платформой для размещения частных облаков, виртуальных рабочих мест и сред разработки новых приложений.

Ключевые слова: гиперконвергентность, конвергентность, ИТ-инфраструктура, виртуализация, архитектура, модульность, компоненты, серверы, система хранения данных, центр обработки данных.

В последние несколько лет стремительными темпами развиваются гиперконвергентные системы, или, как их еще называют, гиперконвергентные инфраструктуры. Под термином «гиперконвергентная инфраструктура» (Hyper-Converged Infrastructure, HCI) понимается программно определяемая ИТ-инфраструктура, которая включает в себя такие обязательные компоненты, как гипервизор вычислительной виртуализации, программно-определяемые хранилище данных и сеть [1—3].

Гиперконвергентная инфраструктура начала завоевывать рынок с 2014 года, и ее ключевое отличие в объединении всей вычислительной функциональности в единое интегрированное высоковиртуализированное решение, базирующееся на серверах. За 2-3 года круп-

нейшие производители ИТ-оборудования создали свои линейки гиперконвергентных систем, в том числе и совместно с другими производителями программно-аппаратных платформ.

Согласно данным компании IDC, на гиперконвергентные системы в 2014 году приходилось 10,9 % рынка конвергентных систем, в 2019 году их доля возрастет до 32 % и достигнет 4 млрд долларов, а по оценкам Gartner, рынок гиперконвергентных интегрированных систем будет ежегодно увеличиваться на 68 % -с 371,5 млн долларов в 2014 году до 5 млрд в 2019-м. Таким образом, интерес к гиперконвергентным системам стремительно растет, о чем свидетельствуют объемы продаж и их динамика.

Одна из причин актуальности гиперконвергентных систем заключается в том, что не все организации и предприятия для снижения затрат на построение собственной ИТ-инфраструктуры готовы перевести свои сервисы и приложения в публичное облако, в первую очередь, из-за жесткой зависимости от компании-провайдера услуг, необходимости хранения конфиденциальной информации не на своих ресурсах и невозможности полного контроля безопасности данных, хотя многие из них заинтересованы в реализации преимуществ облачных технологий в собственной инфраструктуре, а гиперконвергентные системы дают возможность это сделать [4, 5]. Они являются альтернативой аренды облачных сервисов у сторонних компаний-провайдеров услуг, так как с помощью гиперконвергентных систем стало возможным развертывание собственных частных облаков, которыми полностью распоряжаются организации и предприятия.

Гиперконвергентные инфраструктуры: развитие и особенности

Термин «конвергентная инфраструктура» был предложен компанией Hewlett-Packard [6]. В терминологии Gartner этот тип инфраструктуры называется интегрированной системой, а в Cisco Systems - системой унифицированных вычислений (Cisco Unified Computing System, UCS). Но независимо от названия в них заложена одна и та же идеология - объединение памяти, вычислительных и сетевых ресурсов в общий пул, предварительно сконфигурированный для работы в центре обработки данных (ЦОД). Такой подход позволяет сократить время на развертывание инфраструктуры с нескольких месяцев до нескольких дней.

Появление гиперконвергентных инфраструктур является закономерным этапом развития ИТ-инфраструктур и следующим логическим шагом от конвергентных. Концепция конвергентных инфраструктур предполагает комбинирование нескольких инфраструктурных компонентов в предварительно интегрированный комплекс с помощью связующего ПО. Эта концепция, в свою очередь, является развитием традиционных подходов к построению ИТ-инфраструктуры.

Гиперконвергентные инфраструктуры развивают концепцию конвергентных структур, добавляя в нее понятие модульности. Благодаря этому все необходимые виртуализирован-ные вычислительные ресурсы, сетевые си-

стемы и системы хранения данных (СХД) работают автономно внутри отдельных модулей, которые представляют собой готовые вир-туализированные вычислительные ресурсы. Обычно они объединяются в группы, чтобы обеспечить отказоустойчивость, высокую производительность и гибкость в создании ресурсных пулов.

Формула Hyper(visor) + Convergence = Hy-perconvergence позволяет понять, чем гиперконвергентные инфраструктуры отличаются от конвергентных инфраструктур, просто объединяющих в одной коробке несколько отдельных инфраструктурных компонент, связанных между собой традиционными сетями (SAN, LAN). Масштабирование ресурсных пулов таких компонент осуществлялось независимо от других, а конвергенция ограничивалась применением транспортного протокола FCoE (Fibre Channel over Ethernet) [7] и единой консолью управления.

Термин «гиперконвергенция» подразумевает объединение в одной из инфраструктурных компонент нескольких различных технологических слоев ЦОД еще на стадии его создания. Использование гиперконвергентных структур позволяет больше не разделять технологические слои ЦОД на отдельные пулы ресурсов (вычисление, хранение), так как они изначально встроены с помощью гипервизора в каждый унифицированный элемент, из которых и создается новая инфраструктура. Развивая функциональность гипервизоров, удалось преодолеть ограничения, связанные с доступом к данным на локальных носителях отдельных серверов, и отказаться от классической SAN-сети, заменив ее виртуальной. Аналогично обстоят дела и с сетью передачи данных, которая эмулируется программными коммутаторами, маршрутизаторами и может быть полностью виртуализирована. Унификация и простота узлов, горизонтальное масштабирование и балансировка нагрузок через быстрый интер-коннект, программная определяемость большинства инфраструктурных компонент и управление ими с помощью единой системы -основные особенности современных гиперконвергентных инфраструктур [8].

Сегодня весьма актуальны задачи снижения операционных затрат и сокращения времени, требуемого на развертывание ЦОД. Использование традиционных и конвергентных инфраструктур, подразумевающих наличие выделенных СХД, не всегда оптимально для решения вышеупомянутых задач. Так, весной 2016 года

компания Cisco Systems пополнила свою линейку решений для ЦОД продуктами абсолютно нового класса - гиперконвергентной инфраструктурой Cisco HyperFlex (рис. 1).

Cisco HyperFlex - система гиперконвергенции, которая комбинирует в себе инновационное ПО для хранения данных и ПО Cisco Unified Computing (Cisco UCS) и является надежной системой, объединяющей серверы и сети в единое целое. Cisco HyperFlex расширяет преимущества Cisco UCS, добавляя к ним эффективность платформы HX Data Platform. Последняя объединяет твердотельные и дисковые накопители кластера в общее распределенное многоуровневое объектное хранилище данных, в основе которого лежит файловая система, позволяющая записывать и считывать данные со всех узлов системы параллельно.

Платформа обеспечивает высокую доступность с помощью параллельного распределения и репликации данных, а также высокую скорость благодаря низкой задержке и большой полосе пропускания Cisco Unified Fabric. Постоянно функционирующие процессы деду-пликации и компрессии в реальном времени выполняют непрерывную оптимизацию данных, что помогает минимизировать стоимость хранения без ухудшения производительности. Динамическое распределение данных в памяти сервера, кэширование и наличие различных

уровней хранения максимизируют избыточность и производительность приложений. Все упомянутые функции помогают повысить производительность без увеличения сложности. Линейка HyperFlex - идеальная платформа как для развертывания корпоративных приложений в головных ЦОД, так и для удаленных офисов и филиалов.

Не так давно компании Hewlett Packard Enterprise (HPE) и Pure Storage приступили к выпуску гиперконвергированных систем. HPE представила предназначенную для средних предприятий платформу Hyper Converged 380, которая объединяет вычисления и хранение. Pure Storage пошла еще дальше, выпустив платформу FlashBlade, объединяющую вычисления, хранение и сети. Переход к гиперконвер-гентности и программно определяемая инфраструктура (software-defined infrastructure, SDI) стимулируют появление союзов производителей. Так, например, Juniper Networks и Lenovo сотрудничают в разработке технологий SDI, которые могут применяться в ряде сценариев использования гиперконвергентности.

В середине 2017 года компания Red Hat, лидер в области разработки открытого ПО, представила первую гиперконвергентную инфраструктуру с открытым кодом [9], пополнив свой набор для предприятий интегрированной платформой для вычислений и хранения дан-

V

V

V

V

V

Hypervisor

Controller

Cisco HX Data Platform

Cisco HX220c I '¡i ij

Cisco HX240c Cisco B200 M4

Application

Software

Compute + Storage

Рис. 1. Архитектура Cisco HyperFlex Fig. 1. Cisco HyperFlex Architecture

Compute only

INFRASTRUCTURE CONSOLIDATION & OPERATIONAL EFFICIENCY

Traditional Architecture

Network 5

RED HAT

Hyperconverged

Infrastructure

Networkfgggg □)

Compute^—дд

□ DP

Storage ЙЕя!

Storage Network

SAN or NAS

Eliminate storage as a discrete tier More easily virtualize business applications, helps to maximize resource utilization Enable single budget for compute & storage Enable single team managing infrastructure Enable more simplified planning & procurement

Enable more streamlined deployment & management

Single support stack for compute & storage

Рис. 2. Гиперконвергентная инфраструктура компании Red Hat Fig. 2. Red Hat Hyperconverged Infrastructure

ных - RHHI (Red Hat Hyperconverged Infrastructure). Она объединила в себе Red Hat Virtualiza-tion - платформу виртуализации на основе технологии KVM, Red Hat Gluster Storage -масштабируемую программную систему хранения на основе GlusterFS, Red Hat Enterprise Linux - корпоративную Linux-платформу, An-sible - систему централизованного автоматизированного развертывания и управления конфигурациями без использования программных агентов [10]. RHHI ориентирована на удаленные офисы и/или филиалы, так как позволяет реализовать практически весь функционал ЦОД, представляемый на базе традиционной ИТ-инфраструктуры, и размещаться в местах с ограниченными ресурсами (рис. 2).

Таким образом, говоря об эволюции ИТ-инфраструктур [11], можно выделить следующие этапы (рис. 3): использование традиционных ИТ-инфраструктур; использование конвергентных систем, которые комбинируют два или больше инфраструктурных компонента как предварительно интегрированное решение, и распространение гиперконвергентных интегрированных систем, представляющих собой программно определяемую технологию, в которой все компоненты интегрированы.

Заключение

В данной статье рассмотрены гиперконвергентные инфраструктуры, эволюция их разви-

тия и особенности. Существенным отличием гиперконвергентной инфраструктуры является то, что она представляет собой программно определяемую технологию, в которой все компоненты интегрированы, а в конвергентной инфраструктуре каждый компонент в строительном блоке является дискретным и может использоваться отдельно. Также гиперконвер-

• Использование связки блейд-серверов и СХД, соединенных по быстрому каналу

•Конвергентные системы и распространение гиперконвергентных решений в базовой инфраструктуре (VM, SDS)

• Перенос приложений и контейнизированных микросервисов на гиперконвергентные платформы

По материалам отчета Gartner Report ID G00298562

Рис. 3. Эволюция ИТ-инфраструктур

Fig. 3. Evolution of IT infrastructures

Com pute

гентные инфраструктуры отличаются улучшениями на уровне программного контроллера, что дает возможность их легкого масштабирования. Для увеличения емкости и производительности необходимо лишь добавление нового блока. Вместо наращивания мощности путем увеличения числа дисков, количества памяти или процессоров производительность увеличивается за счет добавления большего числа модулей. Соответственно, гиперконвергентная инфраструктура - это инфраструктура, в которой вычислительные мощности, СХД, серверы, сети объединяются в единое целое с помощью программных средств, а управление ими происходит через общую консоль администрирования, что дает возможность вместо группы ИТ-специалистов для управления СХД

и серверным оборудованием задействовать только одного системного администратора.

Также гиперконвергентные инфраструктуры являются альтернативой аренды облачных сервисов у компаний-провайдеров услуг, так как с их помощью стало возможным развертывание собственных частных облаков, которыми полностью распоряжаются организации и предприятия. Именно эта возможность -одна из причин востребованности гиперконвергентных структур как крупными, так и небольшими предприятиями и организациями.

Таким образом, на сегодняшний день гиперконвергентная инфраструктура стала доминирующей аппаратной платформой для размещения частных облаков, виртуальных рабочих мест и сред разработки новых приложений.

Литература

1. Гиперконвергентные инфраструктуры и ТСО. URL: https://www.itweek.ru/infrastructure/article/de-tail.php?ID=195584 (дата обращения: 11.06.2019).

2. 10 лучших новых конвергентных решений 2018 года. URL: https://www.pcweek.ua/themes/de-tail.php?ID=158059 (дата обращения: 11.06.2019).

3. Гиперконвергенция: ИТ-инфраструктура на раз, два, три. URL: https://www.osp.ru/lan/2016/05/ 13049349/ (дата обращения: 12.06.2019).

4. Носкова А.И., Токранова М.В. Преимущество гиперконвергентных систем над облачными технологиями // Интеллектуальные технологии на транспорте. 2017. № 2. C. 47-51.

5. Зачем переходить на гиперконвергентность? Вопросы и ответы. URL: http://www.cnews.ru/spe-cial_project/2017/redsys/ (дата обращения: 12.06.2019).

6. Немного о конвергентной (и гиперконвергентной) ИТ-инфраструктуре. URL: https://habr.com/ company/it-grad/blog/281813/ (дата обращения: 12.06.2019).

7. Введение в технологии FC и FCoE для сетевых инженеров. URL: https://www.slideshare.net/Cis-coRu/fcfcoe (дата обращения: 12.06.2019).

8. Технология VMware vSAN как элемент гиперконвергентной системы для облачных провайдеров. URL: https://itglobal.com/ru-ru/company/blog/vmware-vsan-for-cloud-providers/ (дата обращения: 13.06.2019).

9. Red Hat представила гиперконвергентную инфраструктуру с открытым кодом. URL: https://www. itweek.ru/infrastructure/news-company/detail.php?ID=196212 (дата обращения: 14.06.2019).

10. Лисецкий Ю.М., Саблий Ю.Ю. Гиперконвергентная технология с открытым кодом // Матема-тичш машини i системи. 2019. № 1. С. 49-55 (рус.).

11. Кто есть кто на рынке гиперконвергенции. URL: http://www.cnews.ru/articles/2019-08-22_tsody_ stanovyatsya_giperkonvergentnymi (дата обращения: 14.06.2019).

Software & Systems Received 14.06.19

DOI: 10.15827/0236-235X.128.541-546 2019, vol. 32, no. 4, pp. 541-546

Evolution and features of hyperconverged infrastructures

Yu.M. Lisetsky l, Dr.Sc. (Engineering), Managing Director, Yurii.Lisetskyi@snt.ua

1 S&T Ukraine, Kiev, 03680, Ukraine

Abstract. The paper considers hyperconverged infrastructures that are widely used by companies to build a flexible cloud-level IT infrastructure. This infrastructure only uses private data centers or clouds and do not use public resources.

The paper describes the evolution of hyperconverged infrastructures, their features and strong points. Emergence of hyperconverged infrastructures is a logical step forward in development of IT infrastructures and the next level of converged infrastructures. The concept of hyperconverged infrastructures combines several infrastructure components into the complex initially integrated using connection software. This concept is a development of traditional approaches to building an IT infrastructure. Hyperconverged infrastructures further develop the concept of converged infrastructures adding the modularity concept. It makes operation of all virtualized computing, network and storage resources autonomous inside separate modules, which are virtual-ized computing resources. Typically, they are grouped to provide fault tolerance, high performance and flexibility in building resource pools.

One of essential reasons why hyperconverged infrastructures are important is that not all enterprises are ready to migrate their services and applications into public cloud in order the eliminate costs of building own IT infrastructure. However, many of them are interested in taking advantages of cloud technologies in their infrastructures and hyperconverged infrastructures give such opportunity. They are a realistic alternative to leasing cloud services from third party providers as the hyperconverged infrastructures enable deployment of private clouds fully under control of an enterprise. Therefore, hyperconverged infrastructures dominate as a hardware platform to build private clouds, virtualized working places, and to develop new applications.

Keywords: hyperconvergence, convergence, IT infrastructure, virtualization, architecture, modularity, components, servers, storage, data center.

References

1. Hyperconverged Infrastructures and ТСО. Available at: https://www.itweek.ru/infrastructure/article/ detail.php?ID=195584 (accessed June 11, 2019).

2. Top 10 New Convergent Solutions 2018. Available at: https://www.pcweek.ua/themes/detail.php?ID= 158059 (accessed June 11, 2019).

3. Hyperconvergence: IT-Infrastru^ure in One, Two, Three. Available at: https://www.osp.ru/lan/2016/ 05/13049349/ (accessed June 12, 2019).

4. Noskova A.I., Tokranova M.V. Advantages of hyperconverged systems over cloud technologies. Intelligent Transportation Technologies. 2017, no. 2, pp. 47-51 (in Russ.).

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

5. Why Switch to Hyperconvergence? Questions and Answers. Available at: http://www.cnews.ru/special_ project/2017/redsys/ (accessed June 12, 2019).

6. A Little Bit About Converged (and Hyperconverged) IT Infrastructure. Available at: https://habr.com/ company/it-grad/blog/281813/ (accessed June 12, 2019).

7. Introduction to FC and FCoE Technologies for Network Engineers. Available at: https://www. slideshare.net/CiscoRu/fcfcoe (accessed June 12, 2019).

8. VMware vSAN Technology as a Hyperconverged System Element for Cloud Providers. Available at: https://itglobal.com/ru-ru/company/blog/vmware-vsan-for-cloud-providers/ (accessed June 13, 2019).

9. Red Hat Introduces an Open Source Hyper-Converged Infrastructure. Available at: https://www. itweek.ru/infrastructure/news-company/detail.php?ID=196212 (accessed June 14, 2019).

10. Lisetsky Yu.M., Sabliy Yu.Yu. Open code hyperconvergence technology. Mathematical Machines and Systems. 2019, no. 1, pp. 49-55 (in Russ.).

11. Who is Who in the Hyperconvergence Market. Available at: http://www.cnews.ru/articles/2019-08-22_tsody_stanovyatsya_giperkonvergentnymi (accessed June 14, 2019).

Для цитирования

Лисецкий Ю.М. Эволюция и особенности гиперконвергентных инфраструктур // Программные продукты и системы. 2019. Т. 32. № 4. С. 541-546. DOI: 10.15827/0236-235X.128.541-546.

For citation

Lisetsky Yu.M. Evolution and features of hyperconverged infrastructures. Software & Systems. 2019, vol. 32, no. 4, pp. 541-546 (in Russ.). DOI: 10.15827/0236-235X.128.541-546.

i Надоели баннеры? Вы всегда можете отключить рекламу.