CC BY
37
МЕТОДЫ ОБОГАЩЕНИЯ СОБЫТИЙ ИНФОРМАЦИОННОЙ БЕЗОПАСНОСТИ С
ПОМОЩЬЮ CRIBL И MISP Гумеров Б.З.
Гумеров Булат Зуфарович - корреспондирующий автор, Web of Science ResearcherID: GNM-7446-2022, ООО Д14, г. Уфа РИНЦ: 8451-6723;
ORCID: 0000-0002-4980-2464
Аннотация: в 2022 году в Российской Федерации очень актуальна проблема максимально оперативной защиты от кибератак, так как они организованно и тщательно планируются и становятся все более мощными. Для защиты от них требуется как можно быстрее получать информацию о подозрительных индикаторах компрометации, например, IP-адресах, DNS-записях, SHA1/SHA256/MD5 хешах файлов, адреса электронной почты и другие. От того, насколько быстро будут выявлены и заблокированы индикаторы компрометации, зависит безопасность и работоспособность всех сервисов организации. В статье предоставлен метод интеграции Cribl с MISP для автоматизированного насыщения событий информационной безопасности с целью максимально оперативной защиты от самых новых вредоносных индикаторов компрометации, используемых организованными хакерскими группировками при большом ежедневном количестве входящего трафика. Ключевые слова: Cribl, MISP, информационная безопасность, GeoIP, IoC, SIEM.
METHODS FOR THE ENRICHMENT OF INFORMATION SECURITY EVENTS USING
CRIBL AND MISP Gumerov B.Z.
Gumerov Bulat Zufarovich - corresponding author, WEB OF SCIENCE RESEARCHERID: GNM-7446-2022, ООО D14, UFA RSCI: 8451-6723;
ORCID: 0000-0002-4980-2464
Abstract: in 2022, the problem of maximum operational protection against cyber attacks is very relevant in the Russian Federation, as they are organized and carefully planned and become more and more powerful. To protect against them, you need to receive information about suspicious indicators of compromise as soon as possible, such as IP addresses, DNS records, SHA1/SHA256/MD5 hashes offiles, email addresses, and others. The security and performance of all services of the organization depends on how quickly indicators of compromise are identified and blocked. The article provides a method for integrating Cribl with MISP for automated saturation of information security events in order to provide maximum operational protection against the latest malicious indicators of compromise used by organized hacker groups with a large daily amount of incoming traffic.
Keywords: Cribl, MISP, information security, GeoIP, IoC, SIEM.
Введение
В сегодняшних реалиях растет количество хакерских атак, они становятся все более ухищренными и массированными. Так, по данным исследований компании Positive Technologies, количество кибератак в 2021 году увеличилось на 6,5 процента по сравнению с 2020 годом: «Злоумышленники стали чаще атаковать системы хранения данных, пользоваться опасными уязвимостями и продолжают беспокоить частных лиц. В 2021 году 86% всех кибератак было направлено на организации. В тройку самых популярных у хакеров вошли госучреждения (16% от всех атак), медучреждения (11%) и промышленные компании (10%)» [1]. К сожалению, эти тренды актуальны и в 2022 году. За первые пять месяцев 2022 года по данным «Лаборатории Касперского» количество хакерских атак на государственные органы увеличилось в 10 раз.
Отдел информационной безопасности использует один инструмент для сбора событий информационной безопасности, IT отдел использует второе программное обеспечение для сбора ошибок, системных и бизнес метрик. Каждый из этих инструментов использует свои собственные форматы и механизмы для сбора машинных данных и, как правило, они не совместимы друг с другом. Всё это приводит к усложнению системы и необходимости установки 2-3 агентов на каждом из серверов. Несомненно, что в подобной ситуации было бы здорово иметь один-единственный инструмент для сбора всех этих данных и централизованную консоль для управления потоками этих данных.
CRIBL
Такое решение есть, это - Cribl. Cribl позволяет собирать, анализировать, насыщать логи и метрики в форматах JSON, XML, syslog, Kafka, Splunk, Elasticsearch, S3, Statsd, Prometheus, Datadog, Windows event forwarder, RAW HTTP и другие. Cribl позволяет оптимизировать логи путем их сжатия, уменьшения их объема за счет исключения ненужных либо пустых полей, защищать конфиденциальную информацию, такую как номера документов (паспорта, номера водительских удостоверений, дипломы и т.п.) либо кредитных карт путем редактирования или обфускации, а также добавлять больше контекста к данным с помощью внешних источников. Бесплатная лицензия Cribl позволяет обрабатывать до 1 Тб лог-файлов в сутки для одной компании, однако если есть необходимость в обработке более 1 Тб данных, то будет необходимо приобрести лицензию у поставщика. Для простоты запуска Cribl можно воспользоваться официальным контейнером Docker с помощью одной команды:
docker run cribl/cribl -p 9000:9000
После запуска Cribl веб-интерфейс будет доступен на порту 9000
MISP
Это популярная платформа threat intelligence с открытым исходным кодом, разрабатываемая на PHP с начала 2011 года Андрасом Айклоди [5]. Платформа позволяет хранить, автоматически коррелировать и анализировать индикаторы компрометации (IoC), данные о вредоносном ПО, информацию об инцидентах информационной безопасности, хакерах и хакерских группировках [6]. Использование данной платформы не требует приобретения коммерческой лицензии. MISP хранит техническую информацию о замеченных другими профессиональными сообществами по информационной безопасности индикаторами компрометации, такими как фишинговые сайты, спаммерские адреса электронной почты, IP-адреса вредоносного ПО и пунктов управления ботнетами (C&C), эксплоиты для Metaspliot framework, выходные ноды Tor и т.п. [7]. Эта информация содержится в фидах CIRCL, PISAX, Cyber Security Sharing and Analytics (CSSA), Symantec/Broadcom DeepSight Intelligence, Kaspersky threat feeds, McAfee Active response, NATO MISP Community и другие. Поддерживается экспорт/импорт в форматах OpenIOC, GFI sandbox, JSON, CSV, IDS (Suricata, Snort и Bro), а также гибкий API для автоматического взаимодействия на программном уровне, которые мы и будем использовать для обогащения данных в Cribl [1].
В статье изложен процесс насыщения информацией о вредоносных IP-адресах, DNS-записях, SHA1/SHA256/MD5 хешей файлов, полученных из MISP с помощью Cribl, которая затем будет использована в SIEM Splunk и Elasticsearch, межсетевых экранах Cisco и PaloAlto, почтовом сервере и прочих сервисах компании.
MISP можно запустить внутри контейнера Docker, разработанного Cornet Arbos в Политехническом университете Каталонии [9].
Кроме того, можно добавлять информацию о местонахождении клиента с помощью библиотеки GeoIP, что позволяет узнать по IP-адресу страну, город и примерный район [8].
REDIS
Для кеширования запросов об индикаторах компрометации будет использована простая база данных Redis с открытым исходным кодом. Кеширование необходимо для снижения нагрузки на API MISP, так как поиск каждого индикатора будет занимать некоторое время, что приведет к очень медленной работе Cribl, а это недопустимо в высоконагруженных центрах киберзащиты. Сервер Redis должен быть расположен как можно ближе к кластеру Cribl для снижения времени отклика системы при большом входящем объеме трафика, в нашем случае он расположен в той же подсети, что и Cribl, и мы успешно обрабатываем трафик объемом более 20 терабайт в день.
Насыщение информации об индикаторах компрометации
Cribl выполняет роль сборщика/маршрутизатора логов от конечных устройств, таких как файрволлы, серверы, приложения, базы данных, клиентские устройства до систем SIEM Splunk или Elastic-stack для обеспечения информационной безопасности в реальном времени 24/7 и озера данных для долгосрочного хранения большого объема данных и снижения стоимости эксплуатации SIEM за счет более дешевых дисков и облачных служб. Elastic-stack позволяет построить систему SIEM для сбора, хранения и индексации информационной безопасности, однако не обладает таким большим количеством доступных приложений для анализа логов, как Splunk [10]. Подробнее о развертывании кластеров SIEM Splunk можно ознакомиться в статье [2]. Облачные сервисы вроде AWS Deep Glacier взимают всего 1 доллар за хранение 1 терабайта данных в течение месяца и обеспечивают доступность на уровне 99,99%.
Archival Storage Log Analysis System(s)
Рис. 1. Архитектура решения
Для сбора IoC из MISP можно использовать API, для этого посредством веб-интерфейса Cribl переходим в раздел Data=>Sources=>Collectors=>REST и создадим новый REST API коллектор. Чтобы получить только IP адреса, воспользуемся HTTP эндпоинтом /attributes/restSearch и фильтрами, описанными в документации [4], а для уточнения того факта, что нам необходимы только подтвержденные IoC с рейтингом 100%, воспользуемся фильтром Confidence score=100, c внутренним ID 7071:
Рис. 2. Настройки REST API коллектора в Cribl
Аналогично добавляются коллекторы для DNS, e-mail, хешей и прочих типов IoC. После создания коллектора можно проверить его работоспособность, нажав на кнопку Run, и через несколько секунд мы увидим вредоносные IP-адреса из базы MISP:
Рис. 3. Результаты работы коллектора
Затем нам нужно сохранить в кэш полученные результаты, предварительно обработав и очистив их от ненужных полей.
Мы будем использовать в пайплайне функцию Cribl Redis Set для записи значений IoC в соответствующую базу данных Redis, например, у нас используется БД №0 для доменов DNS, БД №1 для IP-адресов, БД №2 для адресов электронной почты и т.п.
— search (F2, ctrl-s) Key
Keys (F3, Ctrl-K)
I 1 I security-myxxxxxxxx.il
graftcp redis-tui -h 172.17.250.199-rtO 105x27
RedisVersion: 5.Ö.3 Memory: 993.61M KeySpace: keys=63818,expires=0,avg_ttl=9 Fl, Ctrl-N - open command panel. Tab -
Server: 172.17.250.199:6379/0 switch focus. Esc, Ctrl-Г
— Search (F2, Ctrl-S) Key
ys (F3, Ctrl-K)
2 I 265.210.171.166
3 I 45.138.102.116
4 I 36.158.219.8
- Info -
Total matched: 1002
graftcp redis-tui-h 172.17.250.199-n 1 105x12
RedlsVerslon: 5,0.3 Memory: 993.19M Server: 172.17.250.199:6379/1 KeySpace: keys=82529,expi res=0,avg_ttl=6
■&F1, Ctrl-N - open command panel, Tab - switch focus, Esc, Ctrl-Q - quit - Output (F9, Ctrl-O) -
raftcp redis-tui -h 172.17.250.199 -n 2 105x13
RedisVersion: 5,0.3 Memory: 993.05M Server: 172.17.250.199:6379/2 KeySpace: keys=3,expires=6,avg_ttl=0
■^Fl, Ctrl-N - open command panel. Tab - switch focus. Esc, Ctrl-Q - quit
Рис. 4. Индикаторы компрометации в кеше Redis
Итак, теперь с помощью функции Cribl Redis Get мы можем получить из кэша Redis IoC, например, мы можем выделить подозрительные IP-адреса в логах файрвола PaloAlto и помечать их в отдельном поле malicious.
Data v Routing v Processing/® Pipelines v firewall_enrich Attached to 1 Route Show Stats
I # Function Filter
i Extraction and Reducti...
Eval true
Monitoring © Notifications
+ Function f§! Sample Data Preview Simple © Preview Full ©
©All-» > pan_firewall_traffic_condition... v I | ► Run
(¡EC ... IN FTTH y Q ~ [¡¡[ Select Fields (23 of 23)
Quick Stats
©
2020-05-07
06:40:06.912
+04:00
a ¡transport: tcp
a _raw: <14>1 2020-O5-O7T02:40:06.912979Z ef5c7c7d626a gogen 6 -- May 07 0
2:40:06 PA-VM 1,2020/05/07 02:40:06,44A1B3FC68F5304,TRAFFIC,end,204 9,2020/05/07 02:40:06,103.125.191.136,10.0.0.10,103.125.191.136... Show more
# _time: 1588819206.912
a appname: gogen
□ E]cribl_pipe: 2 items... a pest_ip: 10.0.0.10 a dest_zone: trusted
# facility: 1
a facilityName: user a host: ef5c7c7d626a a index: cribl a flog_subtype: end
ialicJ
s: tri
Ф
lessage: May Э7 02:40:06 PA-VM 1,2020/05/07 02:40:06,44A1B3FC68F5304,TRAFF 1С,end,2049,2020/05/07 02:40:06,103.125.191.136,10.0.0.10,103.12 5.191.136,10.0.O.10,splunk,, ,incomplete,usys.l,untrusted,1 the... Show more
irocid: 6 ieverity : 6 leverityMame: info
Рис. 5. Обнаружение подозрительного IP адреса
Использование функционала GeoIP позволяет узнать местоположение клиента, подключенного к интернету, зная лишь его внешний 1Р-адрес. Это может быть полезно для установки фильтрации клиентов по их адресу, региону или стране [8].
Также можно добавлять GeoIP-данные посредством одноименной функции, здесь мы будем искать 1Р-адрес в поле src_ip и добавим новое поле src_geoip:
Data v Routing v Processing / ® Pipelines firAtta Show Stats + Function ®
X III # Function ©All-
S) 1-3 Extraction and Reducti.^^) •■■
5) 4 Eval
yj 5 GeolP at) ■■■
Filter © Help [70
1 true Я
Description ©
Entera description
Final ©
GeolP File (.mmdb)* © GeoLite2-City.mmdb IP Field© srcjp
Additional fields © + Add field
Result Field © src_geoip
Sample Data > pan_firewall_traffic_conditioned.log
Monitoring (T) Notifications Preview Simple ® Preview Full ©
firewall_enrich
in es
a source : gogen a sourcetype: pan:traffic {} B|re_geoip: О El city:
# geoname_-id: 5714964 О S names:
a en: Boardman
a ru: Бордман
H i nont : » Items...
H country:
* geoname_1d: 625Í "Il
a i so de: US
В
□ de USA
a en: United States
a «s: Estados Unido
a fr: États-Unis
a ja: TX'JÜéaSffl
a pt- BR: Estados Un
□ ru: США
a zn- CN: ЦШ
H lotatlo n: 5 Ítems...
H postal 1 Ítem...
H -egl stered_country: 3
и Iii ч sions: 1 item.
_ip: 54.202.255.47
V
Quick Stats ► Run I ■■■ Lili Select Fields (81 of 81) ©
Рис. 6. Добавление информации о местоположении клиента
Заключение
В статье была показана процедура насыщения логов с помощью внешней базы данных с индикаторами компрометации, МШР и добавлением геоинформации о местоположении клиентов. Это облегчит процесс анализа больших массивов данных по информационной безопасности, позволит своевременно выявлять индикаторы компрометации и предотвращать кибератаки.
Список литературы /References
1. Turriff Bryan. Observability Pipelines For Dummies, Cribl Special Edition / Bryan Turriff - Birmingham, US: John Wiley & Sons, Inc., 2021. 43 p. [Электронный ресурс]. Режим доступа:https://info.criЫ.io/rs/781-YMF-705/images/G"iЫ-Observability-Pipelines-For-Dummies.pdf/ (дата обращения: 19.08.2022).
2. Гумеров Б.З. Автоматизация развёртывания геораспределенных кластеров Splunk c помощью Terraform и Ansible. / Б.З. Гумеров // Universum: технические науки, 2022. 5-2(98). С. 1-4. doi: doi.org/10.32743/unitech.2022.98.5.13795.
3. Курбатов М. Количество "нападений" на компьютеры растет. [Электронный ресурс] / М. Курбатов // Количество "нападений" на компьютеры растет, 2022. № 105. Режим доступа: https://rg.ru/2022/05/17/kolichestvo-napadenij-na-kompiutery-rastet.html/ (дата обращения: 01.07.22).
4. Automation and MISP API // Automation and MISP API, 2022. [Электронный ресурс]. Режим доступа: https://www.circl.lu/doc/misp/automation/#get-events/ (дата обращения: 08.07.22).
5. Wagner C. MISP: The Design and Implementation of a Collaborative Threat Intelligence Sharing Platform. / C. Wagner, A. Dulaunoy, G. Wagener et al. // WISCS '16: Proceedings of the 2016 ACM on Workshop on Information Sharing and Collaborative Security, 2016. 1. Р. 49-56. doi: doi.org/10.1145/2994539.2994542.
6. Rhoades D. Machine actionable indicators of compromise. / D. Rhoades // Machine actionable indicators of compromise, 2014. [Электронный ресурс]. Режим доступа: https://ieeexplore.ieee.org/abstract/document/6987016. ((дата обращения: 02.07.22).
7. Al-Ramahi M. Exploring hackers assets: topics of interest as indicators of compromise. / M. Al-Ramahi, I. Alsmadi, J. Davenport // HotSoS '20: Proceedings of the 7th Symposium on Hot Topics in the Science of Security, 2020. 5. Р. 1-4. doi: doi.org/10.1145/3384217.3385619.
8. Поршнев С.В. Картографический модуль для визуализации местоположения IP-адресов. / С.В. Поршнев, О.А. Пономарева, Э.В. Соломаха // Вестник Балтийского федерального университета им. И. Канта. Серия: Физико-математические и технические науки, 2020. 1. С. 30-36.
9. Котенко И.В. Система сбора, хранения и обработки информации и событий безопасности на основе средств Elastic Stack.. / И.В. Котенко, А.А. Кулешов, И.А. Ушаков // Труды СПИИРАН, 2017. 5(54). doi: doi.org/10.15622/sp.54.1.
