Структура

Основные подсистемы

СПО ПР состоит из программных модулей – отдельных программ, каждая из которых предназначена для выполнения определенных функций. Модули могут объединяться в подсистемы (наборы модулей) в зависимости от их функционального назначения.

Выделяют пять основных подсистем:

Подсистема управления Платформой Радар (ядро) — RADAR-CORE;
Подсистема обработки событий — RADAR-WORKER;
Подсистема корреляции событий — RADAR-CORRELATOR;
Подсистема хранения событий — RADAR-EVENT-STORAGE;
Подсистема сбора событий — RADAR-LOG-COLLECTOR.

Помимо основных подсистем в состав ПАК ПР входят следующие подсистемы:

Подсистема мониторинга работоспособности — RADAR-MONITORING;
Подсистема инфраструктурных модулей — RADAR-INFRASTRUCTURE;
Подсистема балансировщика событий — RADAR-BALANCER;
Подсистема справочной информации об угрозах — RADAR-TI.

При установке ПАК ПР последние 4 подсистемы могут устанавливаться как самостоятельные модули, так и в составе подсистемы управления Платформой Радар RADAR-CORE.

Важно! При передаче информации между программными модулями Платформы Радар используется защищенное соединение (TLS).

Состав подсистем

Ниже в таблице 1 приведен состав и назначение модулей для каждой подсистемы Платформы Радар.

Таблица 1 -- Перечень модулей в составе подсистем Платформы Радар

Подсистема	Наименование модуля	Назначение модуля	Шифр разработки
RADAR-CORE	Радар главный интерфейс	Представление главного веб-интерфейса пользователя	radadr-ui
	Радар менеджмент-центр	Управление внутренними сервисами и предоставление доступа к ним через API на языке Ruby	rmca
	Радар менеджмент-центр АПИ	Управление внутренними сервисами и предоставление доступа к ним через API на языке Go	cruddy
	Радар кластер-агент	Обеспечение управления серверами кластера со стороны кластер-менеджера	cluster-agent
	Радар кластер-менеджер	Управление кластером серверов при конфигурировании ПАК ПР	cluster-manager
	Радар межсервисный шлюз	Организации межсервисного взаимодействия (API Gateway)	cerberus
	Радар госсопка	Автоматизированный обмен информацией с НКЦКИ и ФИНЦЕРТ	event-ant
	Радар сканер активов	Сканирование и инвентаризация активов	sonar
	Радар база знаний	Предоставление программных интерфейсов (API) для работы с базой знаний	knowledgebase
	Радар мониторинг источников	Наблюдение за источниками событий	pluto
	Радар служба оповещений	Оповещения пользователей	toller
	Радар менеджер прав	Авторизация и идентификация пользователей, разграничения прав доступа	keycloak
	Радар сервис TI	Обновление и наполнение справочников информации об угрозах для termite и logmule	ti-updater
	Радар провайдер мультиарендности	Модуль провайдера мультиарендности	karaken
	Радар отчетность	Модуль предоставления программных интерфейсов для работы с отчетностью	datasapi
	Радар табличные списки	Модуль предоставления программных интерфейсов для работы с табличными списками	rvs_api
	Радар интеграционный слой	Модуль предоставления программных интерфейсов для организации интеграционного слоя	pgr-wal-listener
	Радар генератор трафика	Модуль генерации искусственного трафика для проведения нагруженного тестирования	turntable
RADAR-WORKER	Радар обработчик событий	Разбор, нормализация, обогащение входящих событий	termite
RADAR-СORRELATOR	Радар коррелятор	Корреляция обработанных событии на основе предустановленных правил	logmule
RADAR-EVENT-STORAGE	Радар хранилище событий	Хранение и поиск обработанных событий	elasticsearch
RADAR-EVENT-STORAGE	Радар сервис ротации	Модуль ротации индексов подсистемы хранения событий	auto-rollover
RADAR-LOG-COLLECTOR	Радар лог-коллектор	Сбор событий от источников и их передача в Платформу Радар	logcollector-agent
RADAR-MONITORING*	Радар визуализатор метрик	Визуализация метрик работы Платформы Радар	grafana
	Радар сборщик метрик Платформы Радар	Сбор и хранение метрик работы Платформы Радар	prometheus
	Радар сборщик метрик узлов кластера	Агент для сбора метрик с узлов, входящих в состав кластера Платформы Радар	node_exporter
	Радар сборщик метрик балансировщика	Агент для сбора метрик с RADAR-BALANCER	kafka_exporter
	Радар сборщик метрик хранилища	Агент для сбора метрик с RADAR-EVENT STORAGE	elasticsearch-exporter
	Радар менеджер уведомлений	Отправка уведомлений о некорректной работе Платформы Радар (с использованием сервиса toller)	alert-manager
RADAR-INFRASTRUCTURE*	Радар основное хранилище данных	Хранения данных Платформы Радар, включая базу знаний, настройки компонентов и др.	postgresql
	Радар хранилище очереди сообщений	Хранение временных значений для сервисов rcma и knowledgebase (хранилище ключ-значение)	redis
RADAR-BALANCER*	Радар балансировщик событий Радар	Балансировка входящего потока событий.	kafka
	Радар приемник событий	Прием входящих событий от источников и/или сборщиков событий	rsyslog

* — подсистемы, которые могут устанавливаться как автономно, так и в составе подсистемы RADAR-CORE

Структурная схема решения

Платформа Радар имеет модульную архитектуру, приведенную ниже на рисунке 1.

Рисунок 1 -- Общая структурная схема решения

Модули сбора событий и модуль управления ими составляют подсистему сбора событий (см. рисунок 2).

Рисунок 2 -- Структура подсистемы сбора событий

Rsyslog принимает в себя входящий поток событий и сохраняет его в Kafka, которая разбивает его на определенное количество партиций (количество не нормировано и зависит от количества термитов, необходимых для обработки входящего потока).

Термиты вычитывают данные из Kafka, проводят нормализацию и сохраняют результат в Kafka в отдельный топик, не ожидая записи в ElasticSearch и передачи на корреляцию.

Beaver является сервисом, который вычитывает из Kafka нормализованные события и с заданной скоростью и установленным количеством потоков записывает их на хранение в ElasticSearch.

Балансировщик Flow Balancer фильтрует поток и передает отфильтрованный поток на корреляцию (Logmule Go).

Основные функции подсистем

Ниже представлено краткое функциональное описание подсистем Платформы Радар.

Подсистема ядра (RADAR-CORE)

Основные функции подсистемы RADAR-CORE:

Конфигурирование Платформы Радар:
- первичная настройка Платформы Радар для работы в конкретной инфраструктуре
- управление пользователями и группами
Сканирование и инвентаризация активов
Контроль ПО и мониторинг состояния модулей Платформы Радар
Обеспечение резервного копирования и ротации данных
Наполнение и обновление справочников информации об угрозах
Автоматизированный обмен информацией с НКЦКИ и ФИНЦЕРТ
Обеспечение деятельности специалистов по реагированию:
- управление активами
- управление правилами корреляции
- управление инцидентами
- управление результатами сканирования систем на предмет уязвимостей
- обеспечения процесса расследования
- контроль SLA

Подсистема обработки событий (RADAR-WORKER)

Основная функция подсистемы RADAR-WORKER — потоковая обработка событий, поступающих в систему, включая:

разбор событий
нормализация событий с использованием универсальной схемы
обогащение событий (данными DNS, Geo-IP, Threat Intelligence)
запись «сырых» и обработанных событий в модуль хранения данных

Подсистема обработки событий масштабируется до требуемого потока событий.

Подсистема корреляции событий (RADAR-CORRELATOR)

Основные функции подсистемы RADAR-CORRELATOR:

Корреляция события на основе имеющихся в Платформе Радар правил корреляции
Создание инцидентов по результатам корреляции

Корреляция событий информационной безопасности осуществляется в потоковом режиме, близком к режиму реального времени. Результаты работы одного правила корреляции могут быть использованы в качестве исходных данных в другом правиле корреляции.

Подсистема корреляции масштабируется для обработки требуемого потока событий.

Подсистема хранения событий (RADAR-ЕVENT-STORAGE)

Подсистема RADAR-EVENT-STORAGE построена на базе СУБД Elasticsearch и обеспечивает распределенное отказоустойчивое хранение событий.

Основные функции подсистемы RADAR-EVENT-STORAGE:

Хранение «сырых» и обработанных событий, поступивших в Платформу Радар
Аналитическая работа с событиями, включающая:
- поиск, в том числе полнотекстовый
- агрегации и группировка
- представление в виде таблиц и графиков

Модули СУБД в составе подсистемы горизонтально масштабируются для обработки требуемого потока событий и обеспечения нужной глубины хранения.

Подсистема хранения событий позволяет выполнять несколько поисковых запросов параллельно. В случае, если подсистема хранения представлена в многосерверной конфигурации, система обрабатывает поисковые запросы с распределением по всем серверам хранения.

Подсистема сбора событий (RADAR-LOG-COLLECTOR)

Основные функции подсистемы RADAR-LOG-СOLLECTOR:

Управление агентами сбора событий, их централизованное конфигурирование
Централизованный мониторинг агентов сбора событий

Для активного сбора событий источников используется модуль logcollector-agent

Подсистема мониторинга работоспособности (RADAR-MONITORING)

Основные функции подсистемы RADAR-MONITORING:

Мониторинг работоспособности Платформы Радар
Сбор, хранение и визуализация метрик работы Платформы Радар
Сигнализация о некорректной работе Платформы Радар

Подсистема инфраструктурных модулей (RADAR-INFRASTRUCTURE)

Основные функции подсистемы RADAR-INFRASTRUCTURE:

Хранение данных Платформы Радар в реляционной БД PostgreSQL (включая базу знаний, настройки модулей и т.д.)
Организация очереди между сервисами RADAR-TERMITE и RADAR-LOGMULE
Хранение временных значений для сервисов rmca и knowledgebase (в хранилище типа ключ-значение redis)

Подсистема балансировщика событий (RADAR-BALANCER)

Подсистема RADAR-BALANCER применяется при масштабировании обработчиков событий, его основными функциями являются:

Прием входящего потока событий
Распределение потока событий для нескольких обработчиков событий
Предоставление временного буфера хранения потока событий

Подсистема справочной информации об угрозах (RADAR-TI)

Основные функции подсистемы RADAR-TI:

Наполнение справочников информации об угрозах
Обновление справочной информации об угрозах для termite и suricata
Трансляция запросов и информации об угрозах с использованием DMZ

Модуль сбора событий logcollector-agent

Модуль logcollector-agent входит в состав подсистемы сбора событий RADAR-LOG-СOLLECTOR. Предназначен для активного сбора событий с широкого спектра источников (операционные системы, средства защиты, сетевые устройства и др.) и передаче их в подсистему обработки событий RADAR-WORKER.

Модуль logcollector-agent может быть установлен как на выделенный сервер, так и непосредственно на источник событий.

Платформа Радар не имеет технических ограничений на количество используемых модулей logcollector-agent в рамках одной инсталляции системы, только лицензионные ограничения.

Возможно разворачивание модуля в следующих системах:

RHEL
CentOS
Debian
Ubuntu
SuSE Linux
Microsoft Windows
Apple OS X

Модуль logcollector-agent поддерживает следующие технологии сбора событий:

Event Log
ODBC
WMI
ETW
Opsec Lea
SSH
SMB
FTP
SFTP
Netflow
TCP
HTTP (пассивный прием)
File read
UDP
HTTP (Удаленный сбор)
SNMP trap

Серверные роли

Для удобства управления установкой и масштабированием, наборам модулей или подсистемам (установленным на сервере и выполняющим определенные функции для пользователей или других серверов ПАК ПР), присваиваются серверные роли.

Серверная роль определяет основную функцию сервера, при этом одному серверу могут быть назначены несколько ролей, и одна роль может исполняться несколькими серверами. Перечень используемых в ПАК ПР ролей приведён в таблице 2.

Управление серверными ролями происходит через веб-интерфейс Платформы Радар в разделе управления кластером.

Таблица 2 -- Серверные роли подсистем и модулей ПАК ПР

Наименование роли	Базовая функция	Ролевой состав
MASTER	Управление Платформой Радар	Включает подсистемы RADAR-CORE и RADAR-TI
BALANCER	Балансировка входящего потока событий	Включает подсистему RADAR-BALANCER
WORKER	Обработка входящего потока событий	Включает подсистему RADAR-TERMITE
CORRELATOR	Корреляция обработанного потока событий	Включает подсистему RADAR-LOGMULE
INFRASTRCTURE	Обеспечение работы Платформы Радар инфраструктурными модулями	Включает подсистему RADAR-INFRASTRUCTURE
MONITORING	Мониторинг работоспособности Платформы Радар	Включает подсистему RADAR-MONITORING. Часто устанавливается вместе с ролью MASTER
	Хранение данных обработанных событий	Включает подсистему RADAR-EVENT-STORAGE
LOG-COLLECTOR	Сбор событий c агентов	Включает модуль logcollector-agent.

Важно! Модуль logcollector-manager устанавливается в составе роли MASTER.

Возможности масштабирования

Платформа Радар построена на базе сервисно-ориентированной архитектуры, что позволяет масштабировать каждый модуль ПАК ПР (см. рисунок 1).

Каждый модуль ПАК ПР может масштабироваться следующим образом:

«вертикально» — путем наращивания мощности конфигурации серверов;
«горизонтально» — путем увеличения количества параллельно работающих единиц аппаратного обеспечения с копией масштабируемого модуля или подсистемы.

В случае необходимости увеличения производительности конкретной подсистемы Платформы Радар можно оперировать как отдельно взятыми модулями и/или подсистемами, так и серверными ролями.