Управление хранилищем

Раздел Управление хранилищем предназначен для настройки хранилища OpenSearch, базовой архивации событий, управления кластером и синхронизацией данных Платформы Радар с OpenSearch.

Для перехода в раздел откройте Администрирование → Управление конфигурацией → Управление хранилищем.

В разделе доступны следующие подразделы:

• Настройки кластера – настройка параметров индексации и базовой архивации событий, а при использовании кластерного хранения – также шардирования, репликации, уровней хранения и ролей узлов;
• Управление синхронизацией – настройка синхронизации выбранных сущностей Платформы Радар с OpenSearch.

Настройки кластера

Подраздел Настройки кластера используется как при некластерном, так и при кластерном хранении OpenSearch.

Режим работы зависит от количества Data-узлов:

• при некластерном хранении используется один Data-узел. Доступны параметры индексации, базовой архивации событий и сведения об узле;
• при кластерном хранении дополнительно доступны настройка шардирования и репликации, распределение Data-узлов по уровням хранения Hot, Warm и Cold, а также настройка ролей узлов.

Кластеризация, распределение по уровням хранения, шардирование и репликация доступны при наличии трех и более Data-узлов.

Некластерное хранение

При использовании одного Data-узла страница Настройки кластера отображается в режиме некластерного хранения (см. рисунок 1).

Рисунок 1 – Настройки некластерного хранения

В верхней части страницы отображается следующая информация:

• Статус кластера – текущее состояние OpenSearch;
• Активные шарды – количество активных шардов;
• Неактивные шарды – количество неактивных шардов;
• Data-ноды – количество Data-узлов;
• Максимум шардов на Data-ноду – максимальное количество шардов, которое может быть размещено на одной Data-ноде.

В режиме некластерного хранения настройка распределения узлов по уровням Hot, Warm и Cold, а также настройка шардирования и репликации недоступны.

Основные параметры

В блоке Основные параметры настраиваются параметры индексации OpenSearch.

В группе Индексация доступны следующие параметры:

• Интервал обновления индекса, сек. – период обновления индекса, после которого новые данные становятся доступны для поиска;
• Интервал синхронизации translog, сек. – период синхронизации журнала операций записи OpenSearch.

При использовании кластерного хранения дополнительно отображается группа Шардирование и репликация.

В группе доступны следующие параметры:

• Количество шардов на индекс – количество шардов, создаваемых для индекса;
• Включить репликацию – включение репликации данных между узлами кластера.

При включенной репликации Платформа проверяет количество Data-узлов и их распределение между используемыми уровнями хранения.

Базовая архивация событий

В блоке Настройка архивации задаются параметры базовой безусловной задачи архивации.

Базовая задача применяется ко всем событиям Платформы без необходимости создавать дополнительную задачу архивации.

Доступны следующие параметры:

• Путь архива – каталог размещения архивных файлов;
• Архивировать события старше (дней) – количество дней хранения событий, по истечении которого к ним применяется настроенная стратегия обработки;
• Удалять архивные файлы старше (дней) – количество дней хранения созданных архивных файлов, по истечении которого они удаляются;
• Удалить данные вместо создания архива – выбор стратегии обработки устаревших событий.

Если параметр Удалить данные вместо создания архива выключен, события архивируются. Если параметр включен, события удаляются без создания архивных файлов.

Внимание! События, удаленные без создания архивных файлов, восстановить невозможно.

Базовые параметры архивации доступны как при некластерном, так и при кластерном хранении.

Дополнительные задачи для обработки отдельных типов и источников событий настраиваются в разделе Администрирование → Архивация событий. Подробнее см. раздел Архивация событий.

Кластерное хранение

При использовании кластерного хранения дополнительно доступны настройка шардирования и репликации и карта распределения Data-узлов по уровням хранения (см. рисунок 2).

Внимание! После инициализации кластера изменение уровня хранения (температуры) Data-узлов не допускается. Распределите Data-узлы по уровням Hot, Warm и Cold до инициализации кластера.

Рисунок 2 – Настройки кластерного хранения

В верхней части страницы отображается следующая информация:

• Статус кластера – текущее состояние кластера OpenSearch;
• Активные шарды – количество активных шардов;
• Неактивные шарды – количество неактивных шардов;
• Data-ноды – количество Data-узлов;
• Максимум шардов на Data-ноду – максимальное количество шардов, которое может быть размещено на одной Data-ноде.

Карта кластера

В блоке Карта кластера отображается распределение узлов OpenSearch по уровням хранения.

На карте могут отображаться следующие группы:

• Ноды без хранения – узлы, которым не назначен уровень хранения;
• Hot – уровень хранения свежих данных;
• Warm – промежуточный уровень хранения;
• Cold – уровень хранения данных, которые используются реже.

Для каждого узла отображаются его название и назначенные роли.

При использовании всех уровней хранения данные последовательно переходят между ними:

Hot → Warm → Cold.

Если уровень Warm отключен, данные переходят непосредственно из Hot в Cold. На карте между уровнями отображается срок, через который выполняется переход.

Настройка сроков хранения

Для используемых уровней хранения задается параметр Срок хранения, дней.

Параметр определяет срок нахождения данных на соответствующем уровне перед переходом на следующий этап хранения.

После истечения срока хранения:

• данные уровня Hot переходят в Warm или непосредственно в Cold, если уровень Warm отключен;
• данные уровня Warm переходят в Cold;
• после завершения хранения на уровне Cold к данным применяется настроенная стратегия архивации.

В нижней части карты расположен блок базовой архивации событий (см. рисунок 3).

Рисунок 3 – Уровни хранения и базовые параметры архивации

Архивация событий не является отдельным уровнем хранения OpenSearch.

Для базовой архивации доступны параметры:

• Путь архива;
• Архивировать события старше (дней);
• Удалять архивные файлы старше (дней);
• Удалить данные вместо создания архива.

Роли узлов

Для узлов OpenSearch используются основные и дополнительные роли.

Основная роль определяет уровень хранения данных:

• Hot;
• Warm;
• Cold.

Дополнительно узлу могут быть назначены следующие роли:

• Cluster manager – управление кластером;
• Ingest – обработка поступающих в OpenSearch данных;
• Coordinator – прием и перенаправление запросов между узлами кластера.

Роль Ingest может быть назначена нескольким узлам.

При настройке ролей Платформа проверяет допустимость выбранной конфигурации.

В частности, контролируются:

• наличие необходимых ролей;
• корректность назначения ролей Cluster manager и Coordinator;
• изолированность узла с ролью Coordinator;
• наличие необходимого количества Data-узлов при включенной репликации;
• корректность распределения Data-узлов между уровнями хранения при включенной репликации.

При обнаружении некорректной конфигурации отображается предупреждение.

Внимание! Изменение температуры Data-узла после инициализации кластера не допускается.

Узлы

В нижней части страницы расположен блок Узлы, содержащий список узлов OpenSearch.

Для каждого узла отображаются:

• Название;
• IP;
• Роли.

В столбце Роли отображаются назначенный узлу уровень хранения и дополнительные роли.

Для просмотра доступных параметров узла нажмите кнопку редактирования в его строке.

Сохранение настроек

После изменения настроек используйте кнопки в верхней части страницы:

• Сбросить – отменить внесенные изменения;
• Сохранить – сохранить внесенные настройки;
• Записать конфигурацию – записать настроенные параметры в конфигурацию OpenSearch.

Перед записью конфигурации убедитесь, что Платформа не отображает предупреждения о некорректной настройке.

Управление синхронизацией

Подраздел Управление синхронизацией предназначен для настройки синхронизации данных выбранных сущностей Платформы Радар с OpenSearch (см. рисунок 4).

Рисунок 4 – Управление синхронизацией

Синхронизация позволяет использовать данные сущностей Платформы в SQL- и PPL-запросах к OpenSearch, в том числе для объединения данных.

На странице можно:

• задать частоту синхронизации;
• найти необходимую сущность;
• включить или отключить синхронизацию отдельных сущностей;
• просмотреть описание сущности и наименование соответствующего индекса или таблицы.

Примечание. Изменения частоты и статуса синхронизации применяются после публикации.

Настройка частоты синхронизации

В поле Частота синхронизации укажите интервал между запусками синхронизации и выберите единицу измерения.

После изменения значения нажмите кнопку Сохранить.

Чтобы изменения вступили в силу, нажмите кнопку Опубликовать.

Выбор сущностей для синхронизации

Доступные для синхронизации сущности отображаются в таблице.

В таблице доступны следующие столбцы:

• Наименование – пользовательское наименование сущности;
• Описание – назначение синхронизации данных сущности;
• Наименование индекса/таблицы – системное наименование соответствующего индекса или таблицы;
• Синхронизация включена – состояние синхронизации сущности.

Для поиска необходимой сущности используйте поле Текстовый поиск.

Для поиска по точному соответствию включите Строгий поиск.

В столбце Синхронизация включена установите переключатель в необходимое положение:

• включен – синхронизация данных сущности включена;
• выключен – синхронизация данных сущности отключена.

Для синхронизации доступны следующие сущности:

• groups;

• occurrences;

• service_asset_findings;

• service_asset_groups;

• service_assets;

• users;

• uuid_stores.

Поля синхронизируемых сущностей

groups

Сущность groups содержит информацию о группах пользователей.

Доступны следующие поля:

Поле	Назначение
id	Уникальный идентификатор группы пользователей.
name	Наименование группы пользователей.
parent_group	Идентификатор родительской группы пользователей.
email	Адрес электронной почты группы.
phone_number	Номер телефона группы.
accept_risk	Признак возможности принятия риска группой.

occurrences

Сущность occurrences содержит информацию о происшествиях.

Доступны следующие поля:

Поле	Назначение
id	Уникальный идентификатор происшествия.
event_type	Тип события.
ip	IP-адрес, связанный с происшествием.
port	Порт, связанный с происшествием.
mac	MAC-адрес, связанный с происшествием.
start_occurrence	Дата и время начала происшествия.
end_occurrence	Дата и время окончания происшествия.
service_asset_finding_status_change_id	Идентификатор изменения статуса связанного инцидента.
service_asset_finding_id	Идентификатор связанного инцидента.
created_at	Дата и время создания записи.
updated_at	Дата и время последнего изменения записи.
fqdn	Полное доменное имя, связанное с происшествием.
incident_identifier	Идентификатор инцидента.
fincert_sync_status	Статус синхронизации с FinCERT.
fincert_id	Идентификатор записи в FinCERT.
sopka_sync_status	Статус синхронизации с СОПКА.
sopka_id	Идентификатор записи в СОПКА.
fincert_sync_result	Идентификатор результата синхронизации с FinCERT.
sopka_sync_result	Идентификатор результата синхронизации с СОПКА.

service_asset_findings

Сущность service_asset_findings содержит информацию об инцидентах.

Доступны следующие поля:

Поле	Назначение
id	Уникальный идентификатор инцидента.
description	Описание инцидента.
risk_impact	Описание влияния риска.
solution	Информация о способе устранения.
mitigation	Информация о снижении риска.
status	Статус инцидента.
risklevel	Уровень риска.
service_asset_id	Идентификатор связанного актива.
created_at	Дата и время создания инцидента.
updated_at	Дата и время последнего изменения инцидента.
finding_id	Идентификатор типа инцидента.
analysis_output	Результат анализа.
synopsis	Краткое описание инцидента.
title	Наименование инцидента.
risk	Риск инцидента.
acknowledged_at	Дата и время подтверждения инцидента.
alert_type	Тип оповещения.
client_note	Клиентская заметка.
internal_note	Внутренняя заметка.
external	Признак внешнего инцидента.
immediate_action_score	Оценка необходимости немедленного реагирования.
throughput_period	Период обработки.
throughput_period_change	Дата и время изменения периода обработки.
customer_created	Признак создания инцидента заказчиком.
c_visible_since	Дата и время начала отображения инцидента.
c_visible_since_in_days	Период отображения инцидента в днях.
c_reopened_count	Количество повторных открытий инцидента.
c_last_customer_status_change	Дата и время последнего изменения статуса со стороны заказчика.
c_customer_retention_time	Срок хранения, связанный с обработкой инцидента заказчиком.
logmule_identifier	Идентификатор инцидента в корреляторе.
c_remote_exploitable	Признак возможности удаленной эксплуатации.
c_occurrence_count	Количество связанных происшествий.
last_occurrence_id	Идентификатор последнего связанного происшествия.
itsm_last_synced_at	Дата и время последней синхронизации с ITSM.
itsm_sync_status	Статус синхронизации с ITSM.
external_id	Внешний идентификатор.
itsm_sync_error	Сведения об ошибке синхронизации с ITSM.
user_id	Идентификатор связанного пользователя.
updated_by	Идентификатор пользователя, последним изменившего инцидент.
group_id	Идентификатор связанной группы пользователей.
acknowledged_by	Идентификатор пользователя, подтвердившего инцидент.
created_by_customer	Идентификатор пользователя заказчика, создавшего инцидент.
edited_by	Идентификатор пользователя, редактировавшего инцидент.
incident_group_id	Идентификатор группы инцидентов.
reopened_at	Дата и время повторного открытия инцидента.
display_id	Отображаемый идентификатор инцидента.
lifecycle_status_id	Идентификатор статуса жизненного цикла инцидента.

service_asset_groups

Сущность service_asset_groups содержит информацию о группах активов.

Доступны следующие поля:

Поле	Назначение
id	Уникальный идентификатор группы активов.
name	Наименование группы активов.
network_ranges	Сетевые диапазоны группы.
domain	Домен, связанный с группой активов.
itsm_synced	Признак синхронизации с ITSM.
created_at	Дата и время создания группы.
updated_at	Дата и время последнего изменения группы.
regex	Регулярное выражение.
subject_id	Идентификатор субъекта.
object_id	Идентификатор объекта.
is_kji	Признак принадлежности к КИИ.
is_fincert	Признак, связанный с FinCERT.
responsible_person	Ответственное лицо.
technical_specialist	Технический специалист.
system_id	Идентификатор системы.
responsible_group_id	Идентификатор ответственной группы пользователей.
edited_by	Идентификатор пользователя, последним изменившего группу.
is_dynamic	Признак динамической группы активов.
search_filter	Условия поиска, используемые для формирования динамической группы.

service_assets

Сущность service_assets содержит информацию об активах Платформы Радар.

Доступны следующие поля:

Поле	Назначение
id	Уникальный идентификатор актива.
type	Тип актива.
name	Наименование актива.
description	Описание актива.
coordinates	Координаты актива.
active	Признак активности актива.
scan_id	Идентификатор связанного сканирования.
value	Значимость актива.
client_note	Клиентская заметка.
internal_note	Внутренняя заметка.
location	Расположение актива.
network_exposure	Сетевая видимость актива.
responsible_person	Ответственное лицо.
technical_specialist	Технический специалист.
responsible_group_id	Идентификатор ответственной группы пользователей.
edited_by	Идентификатор пользователя, последним изменившего актив.
created_at	Дата и время создания актива.
updated_at	Дата и время последнего изменения актива.
is_local	Признак локального актива.
merged_asset_ids	Идентификаторы активов, объединенных с данным активом.

users

Сущность users содержит информацию о пользователях Платформы Радар и настройках получения уведомлений.

Доступны следующие поля:

Поле	Назначение
id	Уникальный идентификатор пользователя.
email	Адрес электронной почты пользователя.
first_name	Имя пользователя.
last_name	Фамилия пользователя.
username	Имя учетной записи пользователя.
create_incidents	Параметр создания инцидентов.
service_asset_notifications	Настройка уведомлений, связанных с активами.
rules_results_notifications	Настройка уведомлений о результатах работы правил.
rules_disabling_notifications	Настройка уведомлений об отключении правил.
incident_notifications	Настройка уведомлений об инцидентах.
incident_status_assigned_notifications	Настройка уведомлений о назначении статуса инцидента.
incident_status_closed_notifications	Настройка уведомлений о закрытии инцидента.
incident_status_feedback_notifications	Настройка уведомлений о переводе инцидента в статус обратной связи.
incident_status_invalid_notifications	Настройка уведомлений о переводе инцидента в недействительный статус.
incident_status_new_notifications	Настройка уведомлений о новом статусе инцидента.
incident_status_risk_accepted_notifications	Настройка уведомлений о принятии риска.
incident_status_verify_notifications	Настройка уведомлений о переводе инцидента на проверку.
incident_status_working_notifications	Настройка уведомлений о переводе инцидента в работу.
created_timestamp	Дата и время создания учетной записи.
enabled	Признак активности учетной записи.
email_verified	Признак подтверждения адреса электронной почты.

uuid_stores

Сущность uuid_stores содержит сведения о связи UUID с происшествиями.

Доступны следующие поля:

Поле	Назначение
id	Уникальный идентификатор записи.
uuid	UUID, хранящийся в записи.
occurrence_id	Идентификатор связанного происшествия.

Сохранение и публикация настроек синхронизации

После изменения состояния синхронизации нажмите кнопку Сохранить. Чтобы изменения вступили в силу, нажмите кнопку Опубликовать.

Для работы с изменениями используются следующие кнопки:

• Сбросить – сбросить внесенные изменения;
• Сохранить – сохранить внесенные изменения;
• Опубликовать – применить изменения частоты и состояния синхронизации.

Изменения частоты синхронизации и состояния переключателей Синхронизация включена применяются после публикации.