CC BY
20
2016. - 204 с.
5. Управление проектами: фундаментальный курс: учебник /
A.В. Алешин, В.М. Аньшин, К.А. Багратиони и др.; под ред.
B.М. Аньшина, О.Н. Ильиной; Нац. исслед. ун-т «Высшая школа экономики». - М.: Изд. дом Высшей школы экономики, 2013. - 620 с.
6. Новый ГОСТ по Управлению Проектами был признан Сообществом как PMBOK Light [Электронный ресурс] / Портал ProjectProfy. - Режим доступа: http://www.projectprofy.ru (дата обращения: 14.11.2017).
7. ISO 21500:2012 Guidance on Project Management [Электронный ресурс] / International Organization of Standardization. - Режим доступа: https://www.iso.org (дата обращения: 14.11.2017).
УДК 004.052
Ларионов В. С. студент магистратуры Дунин И.В. студент магистратуры научный руководитель: Гапанюк Ю.Е., к.т.н.
доцент
МГТУ им. Н.Э. Баумана Россия, г. Москва
АНАЛИЗ РАБОТЫ ВЕБ-СЕРВЕРОВ С ИСПОЛЬЗОВАНИЕМ ПАКЕТА
GRAFANA
В статье рассматривается вопрос анализа работы веб-серверов с большой нагрузкой. Обосновывается необходимость такого анализа, описываются его задачи и методы. Практическое применение методов анализа рассматривается на примере пакета Grafana. Подробно описана структура пакета Grafana и его функционал, также указываются его возможные аналоги, рассмотрены практические примеры использования.
Ключевые слова: высонагруженные сервисы, веб-серверы, мониторинг, Grafana
Larionov V.S. Student
Bauman Moscow State Technical University
Russia, Moscow Dunin I. V. Student
Bauman Moscow State Technical University
Russia, Moscow Scientific advisor: Gapanyuk Yu.E. Ph.D. (Computer Sciences) Bauman Moscow State Technical University
Russia, Moscow
WEB SERVERS OPERATION ANALYSIS USING GRAFANA
PACKAGE
This article considers problem of highload web server operation analysis. Reasons for web server analysis are given. Tasks and methods of analysis are mentioned. Grafana package is used as an example of an analysis tool. Article describes structure of Grafana package, its functionality and currently existing analogues. Practical ways of usage are also considered.
Keywords: highload services, web-servers, monitoring, Grafana
Введение
В настоящее время в связи с расширением сети Интернет увеличивается количество пользователей. Как следствие, увеличивается нагрузка на веб-сервера. Это приводит к необходимости масштабирования веб-серверов, эффективного устранения неисправностей, прогнозирования динамики нагрузки и поиска слабых мест конфигурации[1]. Решение этих задач требует сбора статистических данных с аппаратных средств, таких как центральный процессор, оперативная память, используемая внешняя память и т.п. Веб-сервера имеют возможность вести журналирование работы. Журналы позволяют обнаруживать ошибки в работе веб-сервера, но не позволяют находить сложные зависимости и отслеживать динамику работы.
К примеру, пусть произошёл сбой в работе сервера базы данных. В журнале можно обнаружить время и тип ошибки. Если была обнаружена ошибка OOM (out of memory), ясно, что причиной стало чрезмерное использование памяти, но причина повышения использования памяти системой, как правило, неочевидна.
В связи с этим необходимо производить анализ полученных данных. Одним из основных средств анализа данных является визуализация, которая представляет численные статистические данные в наглядном виде путём построения графиков, диаграмм, гистограмм. Для визуализации данных применяются специализированные пакеты.
Примером средства для визуализации статистических данных вебсерверов является пакет Grafana. Ниже будут рассмотрены его основные функциональные возможности и применение для описанных задач.
Структура и функционирование пакета Grafana
Grafana представляет собой пакет визуализации данных[2]. В рамках рассматриваемой задачи будем считать, что он работает поверх агрегатора метрик Graphite. Graphite тоже умеет визуализировать данные, но обладает более скудным графическим интерфейсом, что затрудняет работу человека-оператора при создании графиков[3]. Grafana состоит из модулей, имеющих различную область применения.
Основным компонентом пакета Grafana является веб-приложение, позволяющее создавать графики для отображения данных. Источник данных — базы данных, указываемые в конфигурационном файле.
Основной особенностью веб-приложения является возможность совмещения данных из различных источников. График, отображаемый
приложением, не является статическим изображением и связан с данными, на основе которых он строится. Благодаря этому возможно совмещение на одном графике нескольких зависимостей, что позволяет отслеживать взаимосвязь выбранных процессов, например, динамику работы ЦПУ и памяти на сервере._
Memory I CPU
Рисунок 1 — графики зависимостей нагрузки на ЦПУ и память от времени
Гибкий интерфейс Grafana позволяет создавать графическое представление исследуемых данных в наиболее наглядном виде. Для построения графиков предоставляется большое количество готовых шаблонов.
avg
— upper_25 6 ms
— иррег_50 168 ms
— upper_75 565 ms
— upper_90 1.109s
— upper_95 1.581 s
10:10 10:20 10:30 10:40 10:50 11:00 11:10 11:20 11:30 11:40 11:50 12:00
Рисунок 2 — динамика времени загрузки страницы на стороне пользователей
Также существует возможность экспорта данных в неграфические форматы представления, например, JSON, CSV.
Компонент, отвечающий за взаимодействие источников данных с веб-приложением, носит название Carbon[2]. Carbon представляет собой backend-составляющую системы сбора метрик, работающую в фоновом режиме. Полученные через установленные соединения данные Carbon кэширует и записывает на диск в определённом формате. Кэширование позволяет веб-приложению работать в реальном времени и использовать данные, еще не сохранённые на диск. Данные из кэша Carbon и данные с жёсткого диска
отображаются совместно.
Помимо Carbon, Grafarn-приложение использует процесс StatsD и CollectD[2]. StatsD — простое инструмент, использующий для передачи данных UDP-пакеты, благодаря чему можно осуществлять передачу большого количества данных без предварительного установления соединения. Один UDP-пакет соответствует одной точке данных и содержит метрику, её значение и временную метку. Инструмент CollectD используется для получения информации о среде сервера (загрузка процессора, памяти, трафик) и для получения регламентированных сведений от установленного на сервере программного обеспечения, например, от серверов Nginx или Apache. Разница CollectD и StatsD заключается в том, что CollectD запрашивает информацию, а StatsD принимает входящие запросы.
Информация, используемая в приложении Grafana, записывается фоновыми процессами в базу данных Whisper. Данные хранятся в архивах разной степени детализации. Степень детализации сохраненных данных зависит от времени, к которому они относятся. Чем новее данные, тем выше их подробность, т.е. частота записи. База данных Whisper имеет фиксированный размер, и если истекает определенный срок хранения, информация удаляется из базы, что приводит к понижению степень детализации в архиве. При понижении детализации может быть рассчитано среднее арифметическое значение, которое будет хранится вместо всего диапазона. Для построения графиков используются архивы наибольшего разрешения.
Применение Grafana
В первую очередь Grafana предназначается для системных администраторов. Учёт трафика, нагрузки на ЦПУ и память делает возможным планирование мощностей. Если эта нагрузка превышает некоторое контрольное значение, то администратору системы следует задуматься о масштабировании системы. Это может быть увеличение мощности имеющихся серверов путём добавления новых компонентов, так называемое вертикальное масштабирование, или покупка увеличение количества серверов — горизонтальное масштабирование. На практике чаще всего применяется так называемое диагональное масштабирование, которое объединяет оба перечисленных подхода[4].
Errors (500) I Min
15.0
12.5 t
0 0
12:00 12:30 13:00 13:30
-500 Total: 163 Avg: 2.20
Рисунок 3 - количество ошибок сервера в минуту Grafana - это продукт, который способен помочь не только системным администраторам, но и отделу аналитики. Используя информацию о посещаемости определённых веб-страниц можно подсчитывать количество показанной пользователю рекламы, понимать, какая реклама в большей степени интересует клиентов, если они переходят по ссылкам с рекламой. Учёт посещаемости и времени посещения страницы позволит найти изъяны в интерфейсе сайта. Например, если пользователь длительное время не может найти нужный ему ресурс либо долго изучая страницу, либо вовсе переходя по ссылкам на сайте, возвращается на главную страницу, потерпев неудачу. _
New visits (sessions) / min
120.0 100.0
800 hfl\¡ 60.0 M» У
40 О 20 0 0 0
12:00 12:30 13:00 13:30
— new sessjons/min Avg: 72.77
Рисунок 4 - количество новых посетителей в минуту Помимо Grafana в этой же программной области используются такие пакеты, как Graphite, Cacti, Munin, MRTG, Ganglia. Cacti - система построения графиков на основе кольцевых (RRD) баз данных, Munin и MRTG - системы мониторинга сетей, также использующие RRD базы данных для построения графиков, Ganglia - система мониторинга параллельных вычислений. По сравнению с аналогами Grafana обладает наиболее гибким и функциональным интерфейсом построения графиков, а также собственным форматом для базы данных, поддерживающим хранение
VfW
исторической информации с переменной детализацией. Заключение
Средства мониторинга и визуализации являются необходимым инструментом для поддержки функционирования высоконагруженных вебсерверов. Они позволяют своевременно отслеживать возникающие в системе ошибки и неисправности и при необходимости модифицировать аппаратные средства веб-сервера. Одним из наиболее перспективных средств мониторинга и визуализации является пакет Grafana. Он обладает дружественным интерфейсом и развитой системой сбора.
Использованные источники:
1. Паклин Н. Б., Орешков В. И. Бизнес-аналитика: от данных к знаниям: Учебное пособие. 2e изд., испр. - СПб.: Питер, 2013. - 704 с.
2. Официальная документация пакета Grafana. Режим доступа: http://docs.grafana.org (дата обращения: 22.11.2017)
3. Веб-сайт проекта Graphite. Режим доступа: https://graphiteapp.org/ (дата обращения: 22.11.2017)
4. Киллелиа П. Тюнинг веб-серверов. 2-е изд. - СПб.: Питер 2003. - 528 с.
Левда М.В. студент
Сибирский институт управления (филиал) ФГБОУ ВО «Российская академия народного хозяйства и государственной службы при Президенте РФ» Россия, Новосибирская область, г. Новосибирск ИНФОРМАЦИОННАЯ БЕЗОПАСНОСТЬ РФ Аннотация: В статье рассматривается сущность информационной безопасности, а так же её место в системе национальной безопасности Российской Федерации.
Ключевые слова: Информационная безопасность, национальная безопасность, защита информации, безопасность информации, Доктрина информационной безопасности Российской Федерации
Levda M. student
Siberian Institute of management (branch) Of the "Russian Academy of national economy and state service under the President of the Russian Federation "
Novosibirsk, Novosibirsk oblast INFORMATION SECURITY OF THE RUSSIAN FEDERATION The lead of the article: The article considers the essence of information security, as well as its place in the national security system of the Russian Federation.
Keywords: Information security, national security, information protection, information security, Doctrine of information security of the Russian Federation
