Примеры конфигураций
Данные конфигурации представлены для вариантов распределенной установки. Централизованную установку Платформы Радар (все в одном - All In One) рекомендуется использовать в случае потока количества событий менее 5K в секунду (EPS), а также когда нет необходимости выстраивать отказоустойчивое решение с долговременным хранением.
Конфигурация 1
| Параметр | Значение |
|---|---|
| Период хранения в днях | 7 |
| Размер одного события в KB | 4 |
| EPS | 5000 |
| Кол-во правил корреляции | 15 |
| Кол-во потоков данных | 2 |
| Нужна отказоустойчивость? | Нет |
| Серверные роли | Кол-во | CPU ядра | RAM GB | Хранилище GB | TB | Сеть |
|---|---|---|---|---|---|---|
| DATA (hot) | 1 | 8 | 32 | 200 | 0,2 | 1Gbps |
| DATA (cold) | 1 | 8 | 16 | 3600 | 3,6 | 1Gbps |
| CORE | 1 | 24 | 64 | 1000 | 1,0 | 1Gbps |
| LOG-COLLECTOR | 1 | 4 | 4 | 200 | 0,2 | 1Gbps |
| Суммарно | 4 | 44 | 108 | HDD 4800 Gb | ||
| SSD 1200 Gb |
Конфигурация 2
| Параметр | Значение |
|---|---|
| Период хранения в днях | 7 |
| Размер одного события в KB | 4 |
| EPS | 10000 |
| Кол-во правил корреляции | 15 |
| Кол-во потоков данных | 2 |
| Нужна отказоустойчивость? | Нет |
| Серверные роли | Кол-во | CPU ядра | RAM GB | Хранилище GB | TB | Сеть |
|---|---|---|---|---|---|---|
| DATA (hot) | 2 | 8 | 48 | 1200 | 1,2 | 1Gbps |
| DATA (cold) | 1 | 8 | 16 | 7200 | 7,2 | 1Gbps |
| CORE | 1 | 10 | 16 | 1000 | 1,0 | 1Gbps |
| WORKER | 2 | 16 | 4 | 200 | 0,2 | 1Gbps |
| CORRELATOR | 2 | 8 | 4 | 200 | 0,2 | 1Gbps |
| LOG-COLLECTOR | 2 | 4 | 4 | 200 | 0,2 | 1Gbps |
| Суммарно | 11 | 94 | 156 | HDD 10 Tb | ||
| SSD 3400 Gb |
Конфигурация 3
| Параметр | Значение |
|---|---|
| Период хранения в днях | 7 |
| Размер одного события в KB | 8 |
| EPS | 30000 |
| Кол-во правил корреляции | 15 |
| Кол-во потоков данных | 2 |
| Нужна отказоустойчивость? | Да |
| Серверные роли | Кол-во | CPU ядра | RAM GB | Хранилище GB | TB | Сеть | OS |
|---|---|---|---|---|---|---|---|
| DATA (hot) | 3 | 8 | 64 | 1800 | 1,8 | 1Gbps | Debian 10 |
| DATA (cold) | 1 | 8 | 48 | 22000 | 22,0 | 1Gbps | Debian 10 |
| DATA (coordinator) | 1 | 8 | 16 | 1000 | 1,0 | 1Gbps | Debian 10 |
| CORE | 1 | 16 | 32 | 1000 | 1,0 | 1Gbps | Debian 10 |
| INFRA | 1 | 16 | 16 | 1000 | 1,0 | 1Gbps | Debian 10 |
| WORKER | 6 | 16 | 4 | 200 | 0,2 | 1Gbps | Debian 10 |
| CORRELATOR | 6 | 8 | 4 | 200 | 0,2 | 1Gbps | Debian 10 |
| BALANCER | 1 | 4 | 4 | 1000 | 1,0 | 1Gbps | Debian 10 |
| LOG-COLLECTOR | 6 | 4 | 4 | 200 | 0,2 | 1Gbps | WIN10-2016/Debian 10 |
| Суммарно | 26 | 244 | 380 | HDD 28 TB | |||
| SSD 6,4 TB |
Примеры производительности
Общие данные по тестированию и параметры тестового стенда
В данном раздел приведены примеры работы Платформы Радар. В частности, приведены результаты тестов скорости, которые были проведены на аппаратном кластере разработчиков Платформы Радар.
Данные результаты следует рассматривать как информацию, которая поможет потенциальному заказчику в принятии решений относительно его оборудования.
Реальные результаты сильно зависят от многих факторов, не в последнюю очередь из которых: размер события , время хранения событий, сложность парсинга, нормализации и правил корреляции.
Технические характеристики гипервизора, на котором проводились тесты:
- ЦП: AMD EPYC 7601 2.2 Ghz;
- ОЗУ: 256 GB;
- Диск : 1280 GB SSD;
- Сеть: 40 Gbps;
- VMware ESX.
Тестирование обработчика событий
Параметры сообщений для формирования нагрузки на WORKER:
| Сценарий | Размер | Формат |
|---|---|---|
| 1 | 3 Kb; | JSON |
| 2 | 107 bytes | raw |
Размеры буфера:
| Сценарий | Master | Worker | Количество worker модулей |
|---|---|---|---|
| 1 | 100000 | 1000 | - |
| 2 | 2000 | 2000 | 15 |
Измерение количества фактически обработанных EPS.
Проведение измерений для следующих конфигураций:
- JSON-сообщение, без обогащения;
- Raw-сообщение, без обогащения;
- Raw-сообщение, с обогащением.
Результат WORKER:
| Тип | 100000/1000 | 2000/2000 |
|---|---|---|
| JSON без обогащения | 5250 | 5250 |
| RAW с обогащением | 3680 | 3650 |
| RAW без обогащения | 4950 | 4950 |
Тестирование распределенного стенда
| Роль | CPU | RAM |
|---|---|---|
| BALANCER | 4C | 8Gb |
| CORRELATOR | 4 | 8Gb |
| CORRELATOR | 4 | 8Gb |
| WORKER | 16 | 32GB |
| WORKER | 16 | 32GB |
| WORKER | 16 | 32GB |
| CORE + DATA + MONITORING + INFRA | 32 | 64GB |
Параметры сообщений для формирования нагрузки:
- Размер: 3 Kb;
- Формат: JSON;
- Поток: 10K EPS.
Publish - кол-во событий в секунду выходящих с WORKER.
Deliver - кол-во событий в секунду обрабатываемых CORRELATOR.
| Подсистемы | шт | Одновременная запись/чтение | EPS Запись | EPS Чтение |
|---|---|---|---|---|
| WORKER | 3 | 10 000 | 14 000 | - |
| CORRELATOR | 2 | 10 000 | - | 14 000 |