Правила разбора

Общие данные

Привила разбора определяют параметры этапов разбора и нормализации выбранного сырого события от конкретного источника.

Правило разбора может быть безусловно применяемым и обычным.

Безусловно применяемое правило будет применяться для всех событий которые поступают от источника. Безусловно применяемое правило для источника может быть только одно.

Правило разбора состоит из двух частей:

• Процедура разбора – параметры преобразования входящего события на пары «Ключ-Значение»;
• Процедура нормализации – параметры передачи полученных пар «Ключ-Значение» в таксономию. Информация о работе с полями события (таксономией) приведена в разделе Поля события.

Для максимальной эффективности использования платформы рекомендуется настроить правила разбора для каждого источника, события от которых будут обрабатываться платформой.

Работа с правилами разбора включает в себя следующие процессы:

1. Добавление правила разбора.
2. Редактирование правила разбор.
3. Удаление правила разбора.

Для работы с правилами разбора перейдите в раздел Источники → Правила разбора (см. рисунок 1).

Рисунок 1 – Раздел "Правила разбора"

В разделе отображается следующая информация:

• Наименование – наименование правила разбора;
• Безусловно применяемое правило – является ли правило безусловно применяеым для источника: да, нет;
• Источник – наименование источника, к событиям от которых применяется правило;
• Включить правило – используется ли правило для разбора событий: да, нет;
• Создано – дата и время создания правила;
• Обновлено – дата и время изменения информации о правиле.

Добавление правила

Для создания правила разбора нажмите кнопку Создать. Начнется процесс создания правила, который состоит из следующих шагов:

• Шаг 1. Основные настройки.
• Шаг 2. Настройка условий фильтрации;
• Шаг 3. Настройка параметров процедуры разбора;
• Шаг 4. Настройка параметров процедуры нормализации;
• Шаг 5. Тестирование правила;
• Шаг 6. Включение правила.

Пример формы создания правила разбора приведен на рисунке 2.

Рисунок 2 – Форма создания правила разбора

Шаг 1. Основные настройки

Пример основных настроек правила разбора приведен на рисунке 3.

Рисунок 3 – Форма создания правила разбора. Основные настройки

Выполните следующие действия:

1. В поле Наименование укажите наименование правила.
2. В поле Источник из выпадающего списка выберите источник, сырые события от которого будут проходить процессы разбора и нормализации.
3. В поле Сырое событие укажите пример сырого события, которое будет приходить от источника.
4. Если правило должно безусловно применяться для выбранного источника, то установите соответствующий переключатель в положение Включен.

Шаг 2. Настройка условий фильтрации

Пример блока Условия фильтрации приведен на рисунке 4.

Рисунок 4 – Форма создания правила. Блок "Условия фильтрации"

В блоке отображается следующая информация:

• Поле – наименование поля, по которому будет применяться фильтр;
• Параметры – используемая функция сравнения и ее параметры;

• Информация о тестировании условий, представленная в виде специальных символов:

  • – условие применимо;
  • – условие применить невозможно;
  • – тестирование не выполнялось.

  Подробнее о механизме тестирования см. Шаг 5. Тестирование правила.

Условия фильтрации задаются одной из следующих функций сравнения:

• GROK Паттерн – фильтрация будет выполняться согласно заданному GROK Паттерну;
• Проверить равенство выражений – будет выполняться сравнение значения поля события, с указанным в условиях фильтрации;
• Проверить наличие значения – будет проверяться наличие значения (отличное от "0") в поле события;
• Проверить наличие в массиве – будет проверяться наличие значения в поле события из указанного массива значений в условиях фильтрации. Проверка выполняется до первого вхождения значения в массив;
• Поиск подстроки в строке – будет проверятся наличие указанного значения в подстроке поля события.
• Ключ-Значение – фильтрация будет выполняться согласно заданным параметрам механизма Ключ-Значение;
• Функция преобразования – поддерживается функция преобразования HEX to Text.

Дополнительно, для функций сравнения GROK Паттерн и Ключ-Значение можно настроить следующие параметры:

• Префикс;
• Группа результата.

Для функций сравнения доступны следующие настройки:

• без учета регистра – если функция включена, то при выполнении функции сравнения не будет учитываться регистр;
• для каждой функции можно включить отрицание: "не равно", "не существует".

Созданные условия фильтрации можно скопировать, а затем применить в другом правиле:

• – скопировать условия фильтрации;
• – вставить скопированные условия фильтрации. Скопированные условия фильтрации можно вставить только в блок Условия фильтрации.

В правило может быть добавлено несколько условий фильтрации. Условия будут исполняться по порядку.

Для изменения порядка исполнения условий фильтрации используйте кнопки ↓ / ↑.

Внимание! Если не сработало какое-то из условий фильтраций (при тестировании получен флаг ), добавленных в правило, то правило исполняться не будет.

Для добавления условий фильтрации выполните следующие действия:

1. В блоке Условия фильтрации нажмите кнопку Добавить. Откроется окно "Добавить условие фильтрации" (см. рисунок 5).

   

   Рисунок 5 – Окно "Добавить условие фильтрации"

2. Выполните в окне следующие действия:
   • Поле события – из выпадающего списка выберите поле события, по которому будет выполняться фильтрация;
   • Функция сравнения – из выпадающего списка выберите функцию сравнения. В зависимости от выбранной функции сравнения, укажите дополнительную информацию:
   • GROK Паттерн

     • в поле Паттерн укажите тело GROK паттерна;
     • в поле Префикс укажите префикс, который будет использоваться для получившихся значений;
     • в поле Группа результатов укажите группу результатов, к которой будет относится получивший результат работы условий.
   • Проверить равенство выражений

     в поле Значение укажите значение поля, по которому будет выполняться функция сравнения:

     • если значение, пришедшее в поле, будет равно указанному в условии фильтрации, то условие применится;
     • в обратном случае условие фильтрации применено не будет.
   • Проверить наличие значения

     Дополнительных действий не требуется. Функция будет проверять что в пришедшем поле присутствует значение:

     • если значение в поле есть, то условие применится;
     • в обратном случае условие фильтрации применено не будет.
   • Проверить наличие в массиве

     • в поле Значение нажмите кнопку Создать. Появится поле для указания значения;
     • создайте массив значений добавив и указав необходимое количество полей.

     Функция сравнения будет проверять значения, пришедшие в поле, с указанным массивом. После первого вхождения значения в массив, условие фильтрации будет выполнено.

   • Поиск подстроки в строке

     в поле Значение укажите значение подстроки поля, по которому будет выполняться функция сравнения:

     • если значение, указанное в условии фильтрации, является частью (или полностью равно) пришедшему текстовому полю, то условие применится;
     • в обратном случае условие фильтрации применено не будет.
   • Ключ-значение

     Заполните следующие поля:

     • Разделитель пары ключ-значение – укажите символ, который будет являться разделителем внутри пары ключ-значние;
     • Разделитель строк – укажите символ, который будет являться разделителем строк;
     • Экранирование значений – укажите способ экранирования значений;
     • Префикс – укажите префикс, который будет использоваться для получившихся значений;
     • Группа результатов – укажите группу результатов, к которой будет относится получивший результат работы условий
   • Функция преобразования

     На данный момент доступна только функция HEX to Text, которая используется для преобразования шестнадцатеричной строки в текст.

   • при необходимости включите настройки Без учета регистра и Отрицание, установив соответствующие флаги.
3. Нажмите кнопку Сохранить.

Шаг 3. Настройка параметров процедуры разбора

Пример блока Правила разбора приведен на рисунке 6.

Рисунок 6 – Форма создания правила. Блок "Правила разбора"

В блоке отображается следующая информация:

• Механизм – используемый механизм разбора;
• Поле – наименование поля к которому применяется механизм разбора;
• Параметры – параметры механизма разбора;

• Информация о тестировании процедур разбора, представленная в виде специальных символов:

  • – правило применимо;
  • – правило применить невозможно;
  • – тестирование не выполнялось.

  Подробнее о механизме тестирования см. Шаг 5. Тестирование правила..

Дополнительно, для каждого механизма разбора, за исключением Функции преобразования, можно настроить следующие параметры:

• Префикс;
• Группа результата.

Созданные процедуры разбора можно скопировать, а затем применить в другом правиле:

• – скопировать параметры процедуры разбора;
• – вставить скопированные параметры процедуры разбора. Скопированные параметры разбора можно вставить только в блок Правила разбора.

Для изменения порядка исполнения процедур разбора используйте кнопки ↓ / ↑.

В правило может быть добавлено несколько процедур разбора. Процедуры разбора будут исполняться по порядку. Если все заданные процедуры разбора были успешно применены (получен флаг при тестировании) тогда событие будет считаться разобранным и попадет в соответствующий "топик".

Процедуры разбора можно сгруппировать. Для этого необходимо выставить последовательность так, чтобы применение механизмов разбора на одно и тоже поле шло последовательно (см. рисунок 7).

Единственным допустимым механизмом, который может дать отрицательный результат тестирования (получен флаг ) и при этом правило разбора будет считаться успешно примененным – это GROK-Паттерн. При этом должно быть соблюдено условие: GROK-Паттерны на конкретное поле должны быть сгруппированы (см. рисунок 7).

Рисунок 7 – Пример группировки механизма разбора на конкретное поле

Для добавления процедуры разбора выполните следующие действия:

1. В блоке Правила разбора нажмите кнопку Добавить. Откроется окно "Добавить правило разбора" (см. рисунок 8).

   

   Рисунок 8 – Добавление правила разбора. Механизм "GROK-паттерн"

2. В открывшемся окне выполните следующие действия:

   • Поле события – из выпадающего списка выберите поле события, к которому будет выполняться механизм разбора;

   • Механизм разбора – из выпадающего списка выберите механизм, который будет применяться для разбора выбранного поля. В зависимости от выбранного механизма, укажите дополнительную информацию:

     • GROK Паттерн;
     • CEF;
     • Ключ-Значение;
     • CSV;
     • SYSLOG;
     • XML;
     • JSON;
     • Функция преобразования.

     Примечание: В основном, все источники посылают события в формате RAW-JSON. При разборе событий в этом формате необходимо в качестве первой процедуры разбора использовать механизм JSON, а потом любые из доступных в платформе, в зависимости от типа данных в исходном событии.

3. Нажмите кнопку Сохранить.

Шаг 4. Настройка параметров процедуры нормализации

На данном этапе выполняется настройка параметров передачи полученных пар «Ключ-Значение» в таксономию.

Пример блока Правила нормализации приведен на рисунке 9.

Рисунок 9 – Форма создания правила. Блок "Правила нормализации"

В блоке отображается следующая информация:

• Таксономия – наименование поля события в которое будет подставлено значение. Информация о работе с полями события (таксономией) приведена в разделе Поля события;

• Правило – параметры процедуры нормализации. Процедура нормализации может использовать следующие методы передачи (подстановки) пары «Ключ-Значение» в таксономию:

  • Функция преобразования;
  • Строка;
  • Поле разбора.

• Тестовое значение – значение, которое будет подставлено в таксономию. Данное значение отображается после проведения процедуры тестирования правила;

• Обязательно – является ли поле обязательным к заполнению при выполнении нормализации: да нет. Признак обязательности отображается с помощью следующих флагов:

  • – поле обязательно для заполнения;
  • – поле не обязательно.

Созданные процедуры нормализации можно скопировать, а затем применить в другом правиле:

• – скопировать параметры процедуры нормализации;
• – вставить скопированные параметры процедуры нормализации. Скопированные параметры нормализации можно вставить только в блок Правила нормализации.

Для добавления процедуры нормализации выполните следующие действия:

1. В блоке Правила нормализации нажмите кнопку Добавить. Откроется окно "Добавить правило нормализации" (см. рисунок 10).

   

   Рисунок 10 – Добавление правила нормализации. Метод подстановки "Функция преобразования"

2. В открывшемся окне выполните следующие действия:

   • Поле таксономии – из выпадающего списка выберите поле таксономии, на которое будет выполняться механизм нормализации;
   • Если заполнение выбранного поля таксономии должно быть обязательным, то установите флаг Обязательно;

   • Метод подстановки – из выпадающего списка выберите способ подстановки пар "Ключ-Значение" в таксономию. В зависимости от выбранного механизма, укажите дополнительную информацию::

     • Функция преобразования;
     • Строка;
     • Поле разбора.

3. Нажмите кнопку Сохранить.

Шаг 5. Тестирование правила

Функция тестирования позволяет проверить корректность созданных процедур разбора и нормализации, а также условий фильтрации. Она наглядно демонстрирует преобразование сырого события на пары "Ключ-Значение".

Для этого в блоках Условия Фильтрации, Правила Разбора и Правила Нормализации есть кнопка Тестировать. Механизм тестирования является централизованным, поэтому не имеет значения из какого блока он будет запущен. Процесс тестирования последовательно применит все параметры правила и выдаст результаты в соответствующие блоки. После чего в блоках станет доступна кнопка Показать результаты.

Поскольку безусловно применяемое правило выполняется в первую очередь, то и при тестировании правил, которые не являются безусловными, это будет учитываться. При просмотре результатов у таких правил будет отображена информации о работе "Безусловно применяемого правила разбора".

Тестирование условия

При просмотре результатов тестирования условий фильтрации, информация будет разделена по следующим вкладкам:

• "Сырое событие" – информация о парах Ключ-Значение приходящая от сырого события;
• "Безусловно применяемое правило разбора" (только для не безусловно применяемых правил) – информация о парах Ключ-Значение сформированных после сработки безусловно применяемого правила разбора для данного источника;
• "Поля текущего условия фильтрации" – информация о парах Ключ-Значение сформированных после применения условий фильтрации.

Пример результатов тестирования условий фильтрации приведен на рисунке 11.

Рисунок 11 – Пример результатов тестирования условий фильтрации

Тестирование процедуры разбора

При просмотре результатов работы процедур разбора, информация будет разделена по следующим вкладкам:

• "Сырое событие" – информация о парах Ключ-Значение приходящая от сырого события;
• "Безусловно применяемое правило разбора" (только для не безусловно применяемых правил) – информация о парах Ключ-Значение сформированных после применения безусловно исполняемого правила разбора для данного источника;
• "Поля текущего условия фильтрации" – информация о парах Ключ-Значение сформированных после применения условий фильтрации.

Пример результатов тестирования процедур разбора приведен на рисунке 12.

Рисунок 12 – Пример результатов тестирования процедур разбора

Тестирование процедуры нормализации

В блоке показывается результат применения безусловно применяемого правила разбора. Поэтому информация в блоке будет отображаться только для правил, которые не являются безусловно исполняемыми.

При попытке тестировать безусловно исполняемое правило будут выданы пустые значения.

Пример тестирования процедуры нормализации приведен на рисунке 13.

Рисунок 12 – Пример результатов тестирования процедур нормализации

В блоке отображается следующая информация:

• Таксономия – наименование поля события в которое будет подставлено значение;
• Тестовое значение – значение, которое будет подставлено в результате исполнения правила.

Шаг 6. Включение правила

После настройки всех параметров и достижения необходимых результатов тестирования включите правило. Для этого установите переключатель Включить правило в положение "включен", а за тем нажмите кнопку Сохранить.

После настройки всех необходимых правил для источника рекомендуется выполнить процедуру Отладка источника.

Редактирование правила разбора

1. В строке нужного правила нажмите кнопку .
2. Внесите необходимые изменения.
3. Выполните тестирование правила.
4. После достижения необходимых результатов, нажмите кнопку Сохранить.

Удаление правила разбора

Примечание: Для корректной работы Платформы Радар не рекомендуется удалять правила разбора установленные по умолчанию.

Для удаления правила нажмите кнопку в соответствующей строке.

Для массового удаления правил установите нужные флаги и нажмите кнопку Удалить.

Для удаление всех правил нажмите кнопку Удалить все.