Функционирование Платформы радар
Структура
СПО РАДАР состоит из сервисов, каждый из которых предназначен для выполнения определенных функций. Сервисы могут объединяться в подсистемы (наборы сервисов) в зависимости от их функционального назначения.
СПО РАДАР включает в себя основные подсистемы:
- PANGEORADAR-CORE – подсистема управления Платформой Радар;
- PANGEORADAR-WORKER – подсистема обработки событий;
- PANGEORADAR-CORRELATOR – подсистема корреляции событий;
- PANGEORADAR-EVENT-STORAGE – подсистема хранения событий;
- PANGEORADAR-LOG-COLLECTOR – подсистема сбора событий.
Помимо основных подсистем в состав СПО РАДАР входят подсистемы, которые можно установить, как самостоятельные, в случае распределенной установки, или в составе подсистемы PANGEORADAR-CORE:
- PANGEORADAR-MONITORING – подсистема мониторинга работоспособности платформы;
- PANGEORADAR-BALANCER – подсистема балансировки событий;
- PANGEORADAR-TI – подсистема справочной информации об угрозах.
Перечень сервисов СПО РАДАР приведены в таблице 1.
Таблица 1 – Перечень сервисов в составе подсистем Платформы Радар
| № | Подсистема | Сервис | Описание |
|---|---|---|---|
| 1 | PANGEORADAR-MONITORING | Alert-manager | Менеджер уведомлений. Отвечает за пересылку уведомлений от PANGEORADAR-MONITORING в PANGEORADAR-CORE |
| 2 | PANGEORADAR-BALANCER | Beaver | Балансировщик обработчика событий. Отвечает за балансировку приходящего потока событий из сервиса Kafka и направляет их в базу данных OpenSearch |
| 3 | PANGEORADAR-CORE | Cerberus | Межсервисный шлюз. Выступает посредником между клиентами и сервисами, выполняя различные функции, связанные с маршрутизацией запросов к API |
| 4 | PANGEORADAR-CORE | ClusterAgent | Агент управления узлом кластера. Отвечает за управление состоянием узла, на котором он установлен |
| 5 | PANGEORADAR-CORE | Cm | Менеджер кластера. Отвечает за управление кластером, а именно распределение нагрузки, регистрацию процессов и мониторинг состояния узлов |
| 6 | PANGEORADAR-CORE | Cruddy | Центр управления API. Обрабатывает и отвечает на все запросы, выполняемые по API |
| 7 | PANGEORADAR-CORE | DatasApi | Отчетность. Отвечает за формирование отчетов о работе платформы |
| 8 | PANGEORADAR-CORE | Docs | Документация. Обеспечивает доступ к документации на продукт |
| 9 | PANGEORADAR-WORKER | Enricher | Обогащение событий. Отвечает за процесс заполнения полей нормализованных событий дополнительной информацией |
| 10 | PANGEORADAR-CORE | EventAnt | Интеграция с ГосСОПКА. Отвечает за настройку взаимодействия с государственной системой обнаружения, предупреждения и ликвидации последствий компьютерных атак на критическую информационную инфраструктуру (КИИ) Российской Федерации |
| 11 | PANGEORADAR-CORRELATOR | FlowBalancer | Балансировщик коррелятора. Отвечает за балансировку результатов корреляции и пересылку их в базу данных. |
| 12 | PANGEORADAR-MONITORING | Grafana | Визуализация метрик работы платформы. Предоставляет пользователям набор виджетов для визуализации метрик. |
| 13 | PANGEORADAR-MONITORING | KafkaExporter | Экспорт метрик с сервиса Kafka |
| 14 | PANGEORADAR-WORKER | Kafka | Передача данных и событий между сервисами платформы |
| 15 | PANGEORADAR-CORE | Karaken | Провайдер мультиарендности. Предоставляет возможности для реализации архитектуры мултитенант или мультиарендность |
| 16 | PANGEORADAR-CORE | KeyCloak | Аутентификация. Отвечает за управление доступом пользователей к платформе |
| 17 | PANGEORADAR-LOG-COLLECTOR | Logcollector | Сбор событий от источников и их передача в платформу. За сбор отвечают агенты сбора лог-коллектора: - agent - отвечает за сбор событий с ОС Linux - agent win - отвечает за сбор событий с ОС Windows |
| 18 | PANGEORADAR-CORRELATOR | Logmule | Коррелятор событий. Отвечает за корреляцию событий согласно правилам корреляции |
| 19 | PANGEORADAR-WORKER | Logproxy | Пересылка событий от лог-коллектора в сервис Kafka. Замена сервиса Rsyslog |
| 20 | PANGEORADAR-MONITORING | NodeExporter | Сбор метрик с узлов кластера |
| 21 | PANGEOEVENT-STORAGE | Opensearch | Хранение и поиск обработанных событий |
| 22 | PANGEORADAR-MONITORING | Opensearch-exporter | Сбор метрик с хранилища событий |
| 23 | RADAR-CORE | Pg | База данных |
| 24 | PANGEORADAR-MONITORING | Prometheus | Сбор и хранение метрик работы Платформы Радар |
| 25 | PANGEORADAR-CORE | Sonar | Сканирование активов |
| 26 | PANGEORADAR-WORKER | Termit | Отвечает за процедуру разбора и нормализации событий |
| 27 | PANGEORADAR-TI (RADAR-CORE) | Ti | Обновление информации об угрозах |
| 28 | PANGEORADAR-CORE | Toller | Оповещения. Отвечает за формирование уведомлений от Платформы Радар и пересылки сформированных уведомлений пользователям и администраторам |
| 29 | PANGEORADAR-CORE | Ui | Главный интерфейс. Отвечает за предоставление пользователям веб-интерфейса платформы |
| 30 | PANGEORADAR-CORE | Wal-listener | Интеграционный слой. Отвечает за управление интеграциями со сторонними системами |
Схема обработки и корреляции событий
Схема взаимодействия подсистем, отвечающих за сбор, обработку и корреляцию событий приведена на рисунке 1.
Рисунок 1 – Схема обработки и корреляции событий
Принцип работы:
- Источники событий ИБ – это любой актив, устройство, программное обеспечение в инфраструктуре организации, которое может создавать журналы работы. Со списком поддерживаемых источников можно ознакомиться в разделе Перечень поддерживаемых источников.
-
Log-Collector (лог-коллектор) осуществляет сбор событий от источников. Сбор может выполняться двумя способами:
- Активный сбор – лог-коллектор обращается к источнику для сбора событий;
- Пассивный сбор – источник самостоятельно отправляет события в лог-коллектор.
Подробнее о лог-коллекторе см. раздел Общие сведения о лог-коллекторе.
-
Log-proxy обрабатывает полученные события и оптимизирует их для быстрой пересылки в сервис Kafka.
- Kafka направляет полученный поток событий в обработчик Termit.
-
Termit обрабатывает события согласно правилам разбора и распределяет их по трем топикам:
- Error – в ходе разбора события возникли ошибки и его не удалось разобрать;
- Parsed – событие разобрано на пары «Ключ-Значение»;
- Normalized – полученные пары «Ключ-Значение» подготовлены для передачи в таксономию.
-
Топики Error, Parsed и Normalized возвращаются в Kafka. При этом топик Normalized дополнительно проходит процедуру обогащения сервисом Enricher.
- Балансировщик Beaver забирает все топики из сервиса Kafka и направляет их в базу данных OpenSearch. При этом Beaver по меткам времени раскладывает события в индексы OpenSearch.
- Балансировщик FlowBalancer работает параллельно Beaver и забирает из сервиса Kafka только события из топика Normalized. Затем фильтрует их согласно фильтрам потока событий и если событие подходит под условие, то оно пересылается в коррелятор (сервис Logmule).
- Logmule осуществляет корреляцию событий согласно правилам корреляции. Результаты корреляции возвращаются в сервис Kafka.
- Балансировщик FlowBalancer забирает результаты корреляции и через центр управления API они отправляются в базу данных платформы.
Серверные роли
Наборам сервисов или подсистемам (установленным на сервере и выполняющим определенные функции для пользователей или других серверов), присваиваются серверные роли.
Серверная роль определяет основную функцию сервера, при этом одному серверу могут быть назначены несколько ролей, и одна роль может исполняться несколькими серверами. Перечень используемых ролей приведён в таблице 2.
Таблица 2 -- Серверные роли СПО РАДАР
| Наименование роли | Ролевой состав |
|---|---|
| MASTER | Включает подсистемы RADAR-CORE и RADAR-TI |
| BALANCER | Включает подсистему RADAR-BALANCER |
| WORKER | Включает подсистему RADAR-TERMITE |
| CORRELATOR | Включает подсистему RADAR-LOGMULE |
| MONITORING | Включает подсистему RADAR-MONITORING. Часто устанавливается вместе с ролью MASTER |
| DATA | Включает подсистему RADAR-EVENT-STORAGE |
| BACKUP | Отвечает за резервное копирование платформы |
| AGENT/AGENT WIN | Включает подсистему PANGEORADAR-LOG-COLLECTOR, которая состоит из сервиса logcollector-agent и соответствующих агентов сбора |
Важно! Сервис logcollector-manager устанавливается в составе роли MASTER.
Управление серверными ролями происходит через веб-интерфейс Платформы Радар в разделе Администрирование → Кластер.
Возможности масштабирования
Каждая подсистема или сервис СПО РАДАР может масштабироваться следующим образом:
- «вертикально» — путем наращивания мощности конфигурации серверов;
- «горизонтально» — путем увеличения количества параллельно работающих единиц аппаратного обеспечения с копией масштабируемого сервиса или подсистемы.
В случае необходимости увеличения производительности конкретной подсистемы Платформы Радар можно оперировать как отдельно взятыми сервисами и/или подсистемами, так и серверными ролями.