Профили сбора

Работа с профилями сбора включает в себя следующие процессы:

1. Настройка профиля сбора.
2. Просмотр информации о профиле сбора.
3. Редактирование профиля сбора.
4. Экспорт профилей сбора.
5. Импорт профилей сбора.
6. Удаление профилей сбора.

Для работы с профилями сбора перейдите в раздел Источники → Профили сбора (см. рисунок 1).

Рисунок 1 – Раздел "Профили сбора"

В разделе отображается следующая информация:

• Название – наименование профиля сбора;
• Тип модуля – тип модуля сбора, по которому работает профиль сбора;
• Источник – наименование источника, для которого настроен профиль сбора;
• Агент сбора – наименование агента сбора, на котором установлен профиль сбора;
• Активен – состояние профиля сбора;
• Дата публикации – дата и время публикации информации о профиле сбора в платформе;
• Дата создания – дата и время создания профиля сбора;
• Дата обновления – дата и время изменения информации о профиле сбора.

Настройка профиля сбора

Настройка профиля сбора заключается в конфигурировании модуля сбора, по которому будет работать профиль.

Внимание! Модуль сбора должен поддерживать ОС, на которой работает агент сбора, иначе профиль сбора работать не будет. Соответствие модулей сбора и ОС приведено в разделе Настройка лог-коллектора. Общие сведения.

Порядок действий для настройки профиля сбора в общем случае выглядит следующим образом:

1. Нажмите кнопку Создать. Откроется форма "Создание профиля сбора" (см. рисунок 2).

   

   Рисунок 2 – Форма "Создание профиля сбора"

2. С платформой поставляется набор заранее подготовленных шаблонов профилей сбора. Шаблон выбирается в поле Использовать существующий шаблон. При необходимости вы можете настроить профиль сбора вручную. Для этого укажите на форме следующую информацию:

   • Название – наименование профиля сбора формируется автоматически из двух частей: <Наименование модуля>_<Наименование источника>. При необходимости вы можете указать название самостоятельно;
   • Агент сбора – из выпадающего списка выберите агент сбора, на котором будет функционировать профиль;
   • Источник – из выпадающего списка выберите источник, с которого будут собираться события профилем сбора;

   • Модуль сбора –из выпадающего списка выберите модуль сбора, по которому будет работать профиль сбора. Поля формы будут автоматически сформированы для настройки выбранного модуля (см. рисунок 3).

     

     Рисунок 3 – Форма "Создание профиля сбора". Пример настроек модуля

3. Настройте выбранный модуль сбора. Настройку модуля можно условно поделить на следующие действия:

   • Настройка основных параметров модуля (подробно описаны в соответствующих разделах ниже). При необходимости для части настроек вы можете использовать секреты (подробнее см. раздел Секреты):
   • Настройка журналирования.
   • Настройка кодировки.
   • Настройка вывода в файл.

4. После выбора и настройки модуля сбора, станет доступна возможность активировать профиль сбора на выбранном агенте. Для этого в поле Активен установите переключатель в положение "Включен".

5. Для сохранения изменений нажмите кнопку Сохранить.
6. Опубликуйте изменения на выбранном агенте сбора, чтобы изменения вступили в силу.

Секреты

Секреты лог-колектора - это необходимые для работы/настройки значения, которые будут зашифрованы и вставлены в нужные места в профиле сбора для сокрытия информации.

Секреты бывают двух видов:

• Глобальные – по умолчанию применяются ко всем коллекторам для удобства работы с ними;
• Локальные – переопределяют параметры глобальных секретов для конкретного экземпляра лог-коллектора.

Локальные секреты всегда имеют приоритет выше глобальных.

Создание секретов должно выполняться через веб-интерфейс платформы:

1. Перейдите в раздел Администрирование → Кластер → вкладка Узлы.
2. Откройте форму просмотра узла с ролью agent или agent win.

3. В блоке секреты агента нажмите кнопку Создать секрет (см. рисунок 4).

   

   Рисунок 4 – Форма просмотра узла. Блок "Секреты агента"

4. Откроется окно "Создать секрет" (см. рисунок 5).

   

   Рисунок 5 – Окно "Создать секрет"

5. Укажите в окне следующую информацию:

   • в поле Название секрета укажите наименование секрета;
   • в поле Значение секрета укажите данные, которые необходимо зашифровать;
   • если необходимо применить секрет ко всем лог-коллекторам, то включите параметр Глобальный.

Использование секретов в профиле сбора: При настройке модуля профиля сбора, можно в качестве значения параметра указать конкретное значение или секрет. Для переключения между режимами ввода информации используйте соответствующий переключатель (см. рисунок 6).

Рисунок 6 – Способы указания параметров модуля сбора

Журналирование

Для большинства модулей сбора можно настроить уровень журналирования работы модуля. Поддерживаются следующие уровни журналирования:

• ERROR – записывать сообщения об ошибках; 
• WARN – записывать предупреждающие сообщения, которые указывают на потенциальные проблемы или ситуации, которые могут привести к ошибкам в будущем;
• INFO – записывать информационные сообщения, которые сообщают о нормальном функционировании приложения;
• DEBUG – записывать отладочную информацию;
• TRACE – записывает всю информацию о работе сервиса;
• ALL – записывать все сообщения.

Настройка выполняется в поле Уровень логирования.

Фильтрация

Описание: Фильтры применяются к собранным событиям от источников перед формированием очереди на отправку. Фильтр представляет из себя массив регулярных выражений которые реализуют механизм черных и белых списков:

• Белый список – события, которые соответствуют регулярному выражению, попадают в очередь на отправку.
• Черный список – события, которые соответствуют регулярному выражению, блокируются и не попадают в очередь на отправку.

Сначала проверяется белый список, а затем черный.

Фильтры задаются в блоке Настройки фильтрации (см. рисунок 7).

Рисунок 7 – Форма "Создание профиля сбора". Блок настройки фильтрации

В блоке доступны следующие настройки:

• Белый список – укажите массив регулярных выражений, формирующий белый список;
• Черный список – укажите массив регулярных выражений, формирующий черный список.

Возможность применения фильтра к компоненту сбора обуславливается типом собираемых данных: структурированные или неструктурированные. Например, данные собираемые от источников wmi, eventlog, odbc, etw являются структурированными, а от остальных источников – неструктурированные.

Кодировка собираемых данных

Профиль сбора позволяет настроить кодировку данных, собираемых от источников. Для этого в параметрах выбранного модуля сбора используется блок Настройки кодировки (см. рисунок 8).

Рисунок 8 – Форма "Создание профиля сбора". Блок "Настройки кодировки"

В блоке доступны следующие настройки:

• Исходная кодировка – укажите кодировку событий источника. Если значение не указано, то профиль сбора попытается определить кодировку самостоятельно;
• Изменить кодировку событий на UTF-8 – опция, позволяющая изменить кодировку исходника в utf8.

Запись потока событий в файл

Для профиля сбора можно настроить отправку получаемого потока событий в локальный файл. Для этого в параметрах выбранного модуля сбора используется блок Вывод в файл (см. рисунок 9).

Рисунок 9 – Форма "Создание профиля сбора". Блок "Вывод в файл"

В блоке доступны следующие настройки:

• Путь до файла – укажите путь до локального файла, в который будут выводиться события;
• Включить вывод в файл – опция, позволяющая включить вывод потока событий в файл.

Формат сохранения событий

Лог-коллетор позволяет настроить для компонентов сбора формат сохранения событий. Для этого в параметрах компонентов сбора используется поле Формат сохранения событий, которое может иметь следующие значения:

• raw – данные сохраняются в том виде, в котором пришли;
• json – пришедшие данные обогащаются дополнительной технической информацией и упаковываются в пакет json.

Данная настройка применима только к неструктурированным данным (кроме eventlog_input, wmi_input, odbc_input, etw_input).

Параметры чтения многострочных событий

В модули сбора file_input, sftp_input, smb_input, ftp_input добавлены параметры чтения из событий следующих форматов: RAW, JSON, XML (по умолчанию RAW). Параметр настраивается в поле Формат событий в файлах.

При этом для этих модулей можно настроить параметры чтения многострочных событий:

• Разделитель событий в файле для многострочных событий. В поле указывается символ для разделения событий. Поддерживаются любые строки (один и несколько символов), также поддерживаются файлы в не utf-8 кодировке. Если поле не указано, то файлы будут читаться построчно.
• Удалять разделитель событий. В поле включается опция, удаляющая разделитель. При включенной опции строка разделителя удаляется из прочитанных событий.
• Отсутствие разделителя событий в файле, используется для чтения событий в форматах JSON и XML без явного разделителя. Если указан разделитель, конец файла не считается концом события. Т.е. Если указан ';' прочитаны будут все события до последнего ';'. Остаток файла после него читаться не будет, т.к. событие получается неполное. Для того, чтобы этого избежать, в данном поле можно включить отсутствие разделителя. Опция применима только для чтения событий в форматах JSON и XML без явного разделителя. При всех других сочетаниях параметров файлы будут читаться как RAW построчно или с указанным разделителем.

При использовании разделителя автоматическое определение кодировки может срабатывать неправильно и разделение событий по разделителю не будет работать. Поэтому для файлов в кодировке отличной от utf-8 не рекомендуется изменять кодировку событий (см. Кодировка собираемых данных).

Модуль eventlog_input_local

Описание: Локальный сбор событий через Windows EventLog по механизму RPC.

Поддержка OC: Только Windows.

Поддержка фильтрации: нет.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

• Примерный размер буфера событий – укажите размер буфера, который используется при получении событий. Значение по умолчанию: 1000. Для определения оптимального размера буфера используется следующая формула: Размер запроса * Количество параллельных воркеров, где результат корректируется до ближайшего значения, кратного результатам умножения;
• Минимальный интервал переподключения (в минутах) – укажите минимальное время ожидания переподключения к источнику в минутах (при недоступности источника). Значение по умолчанию: 1;
• Максимальный интервал переподключения (в минутах) – укажите максимальное время ожидания переподключения к источнику в минутах (при недоступности источника). Значение по умолчанию 15. Максимальное значение: 30;
• Путь до файла журнала – укажите путь к файлу журнала для сбора событий от источника. Поддерживаемые форматы .evt, .evtx, .etl;
• Таймаут запроса в секундах – укажите таймаут отправки запроса в секундах;
• Читать только новые события – при необходимости включите опцию, которая позволяет забирать из журнала только новые события;
• Определять имя пользователя по SID – при необходимости включите опцию, которая позволяет конвертировать значения SID в имена пользователей;
• Имена журналов для сбора – из выпадающего списка выберите один или несколько каналов, из которых нужно собирать события. Поле указывается в случае, если не указано поле Путь до файла журнала. Возможные значения:
  • Application;
  • Microsoft-Windows-PowerShell/Operational;
  • Security;
  • System.
• Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
• Фильтр событий – укажите запрос для фильтрации событий для чтения с помощью выражения XPath. Возможные значения:
  • структурированный XML запрос, например <QueryList><Query><Select Path=\"Security\">*[System[(EventID=42) and (Level=2)]]</Select></Query></QueryList>;
  • * - все параметры.
• Размер запроса – укажите количество событий, загружаемых за один запрос;
• Интервал между запуском запроса в секундах – укажите интервал, через который файл (или канал) проверяется на наличие новых записей лога;
• Количество параллельных воркеров – укажите количество воркеров, которое будет задействовано для обработки событий;
• Уровень логирования – выберите уровень журналирования модуля;
• Настройки фильтрации (исключения) событий – в блоке указываются фильтры по полям событий с помощью регулярных выражений. В данном блоке можно указать для полей следующие типы фильтров:
  • Фильтры по времени, пример: 2025-03-13 10:02:55.9689259 +0000 UTC. Используется для следующих полей:
    • Created;
    • EventTime;
  • Числовые фильтры, пример: ^([5-9]\d|\d{3,})$. Используется для следующих полей:
    • EventID;
    • Qualifiers;
    • RecordID;
    • ExecutionProcessID;
    • ThreadID;
    • Version.
  • Строковые фильтры, пример: DESKTOP-IDCMV6G. Используется для следующих полей:
    • Hostname;
    • Msg.
  • Возможные значения:
    • Пример для поля LevelText: Information, Warning, Error;
    • Пример для поля TaskText: Service, State, Event;
    • Пример для поля OpcodeText: ServiceShutdown;
    • Пример для поля ChannelText: System;
    • Пример для поля ProviderTex: System.

Модуль eventlog_input_remote

Описание: Удаленный сбор событий через Windows EventLog по механизму RPC.

Поддержка OC: Только Windows.

Поддержка фильтрации: нет.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

• Имена журналов для сбора – из выпадающего списка выберите один или несколько каналов, из которых нужно собирать события. Поле указывается в случае, если не указано поле Путь до файла журнала. Возможные значения:
  • Application;
  • Microsoft-Windows-PowerShell/Operational;
  • Security;
  • System.
• Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
• Адрес сервера для подключения – укажите адрес удаленного сервера;
• Фильтр событий – укажите запрос для фильтрации событий для чтения с помощью выражения XPath. Возможные значения:
  • структурированный XML запрос, например <QueryList><Query><Select Path=\"Security\">*[System[(EventID=42) and (Level=2)]]</Select></Query></QueryList>;
  • * - все параметры.
• Размер запроса – укажите количество событий, загружаемых за один запрос;
• Интервал между запуском запроса в секундах – укажите интервал, через который файл (или канал) проверяется на наличие новых записей лога;
• Количество параллельных воркеров – укажите количество воркеров, которое будет задействовано для обработки событий;
• Путь до файла журнала – укажите путь к файлу журнала для сбора событий от источника. Поддерживаемые форматы .evt, .evtx, .etl;
• Таймаут запроса в секундах – укажите таймаут отправки запроса в секундах;
• Читать только новые события – при необходимости включите опцию, которая позволяет забирать из журнала только новые события;
• Определять имя пользователя по SID – при необходимости включите опцию, которая позволяет конвертировать значения SID в имена пользователей;
• Примерный размер буфера событий – укажите размер буфера, который используется при получении событий. Значение по умолчанию: 1000. Для определения оптимального размера буфера используется следующая формула: Размер запроса * Количество параллельных воркеров, где результат корректируется до ближайшего значения, кратного результатам умножения;
• Минимальный интервал переподключения (в минутах) – укажите минимальное время ожидания переподключения к источнику в минутах (при недоступности источника). Значение по умолчанию: 1;
• Максимальный интервал переподключения (в минутах) – укажите максимальное время ожидания переподключения к источнику в минутах (при недоступности источника). Значение по умолчанию 15. Максимальное значение: 30;
• Уровень логирования – выберите уровень журналирования модуля;
• Параметры удаленного подключения – укажите в следующих полях параметры для удаленного подключения к серверу, указанному в поле Адрес сервера для подключения:
  • Включить удалённое подключение – для данного модуля удаленное подключение используется по умолчанию. Параметр нельзя изменить;
  • Имя пользователя – укажите имя пользователя для удаленного подключения;
  • Пароль – укажите пароль пользователя;
  • Домен – укажите домен пользователя;
  • Метод аутентификации – выберите метод аутентификации. Доступные значения:
    • Negotiate,
    • Kerberos,
    • NTLM.
• Настройки фильтрации (исключения) событий – в блоке указываются фильтры по полям событий с помощью регулярных выражений. В данном блоке можно указать для полей следующие типы фильтров:
  • Фильтры по времени, пример: 2025-03-13 10:02:55.9689259 +0000 UTC. Используется для следующих полей:
    • Created;
    • EventTime;
  • Числовые фильтры, пример: ^([5-9]\d|\d{3,})$. Используется для следующих полей:
    • EventID;
    • Qualifiers;
    • RecordID;
    • ExecutionProcessID;
    • ThreadID;
    • Version.
  • Строковые фильтры, пример: DESKTOP-IDCMV6G. Используется для следующих полей:
    • Hostname;
    • Msg.
  • Возможные значения:
    • Пример для поля LevelText: Information, Warning, Error;
    • Пример для поля TaskText: Service, State, Event;
    • Пример для поля OpcodeText: ServiceShutdown;
    • Пример для поля ChannelText: System;
    • Пример для поля ProviderTex: System.

Модуль external_command_input

Описание: Выполнение внешней команды в ОС.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

• Команда bash/cmd – укажите исполняемую команду в формате bash/cmd для OC Linux/Windows соответственно;
• Интервал между запуском запроса в секундах – укажите интервал между выполнением команд в секундах;
• Формат сохранения событий – выберите формат сохранения событий;
• Уровень логирования – выберите уровень журналирования модуля.

Модуль file_input

Описание: Сбор событий из локального файла.

Предварительно необходимо создать файл из которого будет идти чтение, например /var/log/logcollector/test_logs.txt..

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть. Настройка блока имеет следующие особенности:

• Исходная кодировка – укажите кодировку событий источника. Если значение не указано, то профиль сбора попытается определить кодировку самостоятельно;
• Изменить кодировку событий на UTF-8 – опция, позволяющая изменить кодировку исходника в utf8;
• Размер буфера для определения исходной кодировки – укажите размер буфера, который будет использоваться для определения кодировки (в байтах).

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

• Формат сохранения событий – выберите формат сохранения событий;
• Удалять разделитель событий – настройте параметры чтения многострочных событий;
• Список файлов для чтения – укажите путь к файлам журналов;
• Использовать регулярное выражение для поиска файлов – при необходимости включите опцию, позволяющую использовать regexp (регулярные выражения) для поиска файлов журналов;
• Директория поиска по регулярному выражению – укажите начальный каталог для поиска файлов;
• Интервал между запуском запроса в секундах – укажите интервал между чтением файлов, в секундах;
• Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
• Разделитель событий в файле для многострочных событий – настройте параметры чтения многострочных событий;
• Отсутствие разделителя событий в файле, используется для чтения событий в форматах JSON и XML без явного разделителя – настройте параметры чтения многострочных событий;
• Регулярное выражение для поиска файлов – укажите регулярное выражение для поиска файлов журнала;
• Читать только новые события – при необходимости включите опцию, которая позволяет забирать из журнала только новые события;
• Отслеживать переименование файлов – при необходимости включите опцию, которая позволяет использовать мониторинг наименований всех файлов журналов с помощью file watchers;
• Формат событий в файлах – настройте параметры чтения многострочных событий;
• Интервал проверки директории на наличие новых файлов (в секундах) – укажите интервал поиска новых файлов в указанных каталогах. Значение указывается в секундах;
• Уровень логирования – выберите уровень журналирования модуля.

Модуль ftp_input

Описание: Чтение файла, доступного через FTP сервер. Предварительно необходимо создать файл из которого будет идти чтение.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть. Настройка блока имеет следующие особенности:

• Исходная кодировка – укажите кодировку событий источника. Если значение не указано, то профиль сбора попытается определить кодировку самостоятельно;
• Изменить кодировку событий на UTF-8 – опция, позволяющая изменить кодировку исходника в utf8;
• Размер буфера для определения исходной кодировки – укажите размер буфера, который будет использоваться для определения кодировки (в байтах).

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

• Директория поиска по регулярному выражению – укажите каталог для поиска файлов по регулярному выражению;
• Адреc для подключения – укажите адреса для подключения к ftp-серверу;
• Порт для подключения – укажите порт для подключения к ftp-серверу;
• Использовать регулярное выражение для поиска файлов – при необходимости включите опцию, позволяющую использовать regexp (регулярные выражения) для поиска файлов журналов;
• Регулярное выражение для поиска файлов – укажите регулярное выражение для поиска файлов журнала;
• Интервал проверки директории на наличие новых файлов (в секундах) – укажите интервал поиска новых файлов в указанных каталогах. Значение указывается в секундах;
• Читать только новые события – при необходимости включите опцию, которая позволяет забирать из журнала только новые события;
• Формат сохранения событий – выберите формат сохранения событий;
• Удалять разделитель событий – настройте параметры чтения многострочных событий;
• Список файлов для чтения – укажите путь к файлам журналов;
• Разделитель событий в файле для многострочных событий – настройте параметры чтения многострочных событий;
• Формат событий в файлах – настройте параметры чтения многострочных событий;
• Отсутствие разделителя событий в файле, используется для чтения событий в форматах JSON и XML без явного разделителя – настройте параметры чтения многострочных событий;
• Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
• Имя пользователя – укажите имя пользователя для доступа к ftp-серверу;
• Пароль – укажите пароль пользователя;
• Интервал между запуском запроса в секундах – укажите интервал между чтением файлов. Значение указывается в секундах;
• Уровень логирования – выберите уровень журналирования модуля.

Модуль http_collector_input

Описание: Чтение файла, доступного через HTTP/HTTPs. Предварительно необходимо создать файл из которого будет идти чтение.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

• Удаленный адрес для вызовов http – укажите адрес сервера для http запросов;
• Удаленный порт – укажите порт сервера для http запросов;
• Включение/отключение TLS-соединения на сервере – при необходимости включите использование протокола Transport Layer Security (TLS) для обеспечения безопасной передачи данных;
• Имя файла для получения по http – укажите наименование файла для получения по HTTP;
• Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
• Формат сохранения событий – выберите формат сохранения событий;
• Имя пользователя для базовой авторизации – укажите имя пользователя для базовой авторизации на http сервере. Если значение не указано, то считается что авторизация выключена;
• Пароль для базовой авторизации – укажите пароль пользователя;
• Путь до TLS сертификата – укажите путь для файла сертификата, используемого при включенном TLS соединении;
• Путь до файла ключа – укажите путь для файла ключей, используемых при включенном TLS соединении;
• Пароль к сертификату – укажите пароль к TLS сертификату;
• Путь до файла корневого сертификата – укажите путь до корневого сертификата;
• Таймаут выполнения запроса – укажите ограничение времени обработки запросов, сделанных http клиентом. Значение указывается в секундах;
• Периодичность проверки наличия новых записей в журналах – укажите интервал между чтением файлов, в секундах;
• Уровень логирования – выберите уровень журналирования модуля.

Модуль http_request_input

Описание: Приём HTTP/HTTPs-запросов.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

• Максимальное число подключений – укажите лимит соединений с сервером;
• Формат сохранения событий – выберите формат сохранения событий;
• Порт для прослушивания – укажите порт сервера;
• Включение/отключение распаковки тела запроса – при необходимости включите автоматическую распаковку тела запроса;
• Адрес для прослушивания сетевого интерфейса – укажите адрес сервера;
• Уровень логирования – выберите уровень журналирования модуля;

• TLS. В блоке указываются параметры использования протокола Transport Layer Security (TLS) для обеспечения безопасной передачи данных:

  • Требуется клиентский сертификат – при необходимости включите необходимость использования клиентского сертификата для подключения к серверу;
  • Путь до файла корневого сертификата – укажите путь до корневого сертификата;
  • Включение/отключение TLS-соединения на сервере – при необходимости включите использование протокола TLS;
  • Путь до файла сертификата – укажите путь для файла сертификата, используемого при включенном TLS соединении;
  • Путь до файла ключа – укажите путь для файла ключей, используемых при включенном TLS соединении;
  • Пароль к сертификату – укажите пароль к TLS сертификату.

Модуль kafka_input

Описание: Приём HTTP/HTTPs-запросов.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: нет.

Поддержка настройки кодировки: нет.

Поддержка вывода в файл: нет.

Пример формы настройки модуля:

Параметры модуля:

• Ограничение чтения потока – укажите ограничение чтения потока. Параметр 0 – без ограничений;
• Адреc для подключения – укажите адрес для подключения к сервису Kafka;
• Порт для подключения – укажите порт для подключения к сервису Kafka;
• Топик – укажите заголовок, по которому будет выполняться чтение. Допустимые значения:
  • termit_output_normalized – нормализованные события;
  • termit_output_parsing – разобранные события;
  • termit_output_error – неразобранные события;
• Offset – выберите из выпадающего списка способ смещения событий: с самого раннего, с последнего;
• Название группы потребителей – укажите группу потребителей (consumer) в сервисе которая будет читать сообщения из сервиса Kafka;
• SSL – при необходимости включите использование протокола SSL;
• Пропустить проверку сертификата – при необходимости включите опцию, которая позволяет пропустить проверку сертификата при обращении к сервису Kafka;
• Размер пакета – укажите количество событий, которое будет передано в одном пакете;
• Частота отправки пакетов (миллисекунды) – укажите интервал отправки пакетов. Значение указывается в миллисекундах.

Модуль mseven6_input

Описание: модуль для сбора событий по протоколу MS-EVEN6 с Windows Vista и выше.

Поддержка OC: Linux.

Поддержка фильтрации: нет.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

• IP адрес или доменное имя для подключения – укажите адрес удаленного сервера, с которого будут собираться события;
• Имена журналов для сбора – из выпадающего списка выберите один или несколько каналов, из которых нужно собирать события. Поле указывается в случае, если не указано поле Путь до файла журнала. Возможные значения:
  • Application;
  • Microsoft-Windows-PowerShell/Operational;
  • Security;
  • System.
• Фильтр событий – укажите запрос для фильтрации событий для чтения с помощью выражения XPath. Возможные значения:
  • структурированный XML запрос, например <QueryList><Query><Select Path=\"Security\">*[System[(EventID=42) and (Level=2)]]</Select></Query></QueryList>;
  • * - все параметры.
• Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
• Размер запроса – укажите количество событий, загружаемых за один запрос;
• Интервал между подключениями к источнику в секундах – укажите интервал между подключениями к источнику;
• Отключить рендеринг полей LevelText, OpcodeText, TaskText – при необходимости включите опцию, которая отключит рендеринг полей LevelText, OpcodeText, TaskText;
• Путь до исполняемого файла python из mseven6venv – укажите путь до исполняемого файла;
• Читать только новые события – при необходимости включите опцию, которая позволяет забирать из журнала только новые события;
• Число событий для переключения канала – в случае, если указано несколько источников или каналов, опция считает число событий и при достижении указанного значения, переключается на чтение следующего источника
• Интервал очистки кэша рендеринга в секундах – укажите интервал очистки кэша;
• Интервал между запросами в миллисекундах – укажите интервал, через который файл (или канал) проверяется на наличие новых записей лога;
• Имя пользователя – укажите имя пользователя для доступа к удаленному серверу;
• Пароль – укажите пароль пользователя;
• Домен – укажите наименование домена источника;
• Таймаут запроса в миллисекундах – укажите таймаут отправки запроса;
• Уровень логирования – выберите уровень журналирования модуля;
• Настройки фильтрации (исключения) событий – в блоке указываются фильтры по полям событий с помощью регулярных выражений. В данном блоке можно указать для полей следующие типы фильтров:
  • Фильтры по времени, пример: 2025-03-13 10:02:55.9689259 +0000 UTC. Используется для следующих полей:
    • Created;
    • EventTime;
  • Числовые фильтры, пример: ^([5-9]\d|\d{3,})$. Используется для следующих полей:
    • EventID;
    • Qualifiers;
    • RecordID;
    • ExecutionProcessID;
    • ThreadID;
    • Version.
  • Строковые фильтры, пример: DESKTOP-IDCMV6G. Используется для следующих полей:
    • Hostname;
    • Msg.
  • Возможные значения:
    • Пример для поля LevelText: Information, Warning, Error;
    • Пример для поля TaskText: Service, State, Event;
    • Пример для поля OpcodeText: ServiceShutdown;
    • Пример для поля ChannelText: System;
    • Пример для поля ProviderTex: System.

Модуль nf_input

Описание: Прием NetFlow трафика.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

• Адрес для прослушивания сетевого интерфейса – укажите адрес Netflow сервера;
• Размер буфера сообщений – укажите размер буфера сообщений. Если параметр не задан, то значение берется из параметра Netflow сервера SO_RCVBUF. Значение указывается в байтах;
• Порт для подключения – укажите порт Netflow сервера;
• Уровень логирования – выберите уровень журналирования модуля.

Модуль odbc_input

Описание: Чтение данных из СУБД (MySQL, Oracle, MS SQL, PostgreSQL).

Поддержка OC: Windows, Linux.

Поддержка фильтрации: нет.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

• SQL запрос – укажите SQL запрос к базе данных;
• Поле, которое будет использоваться как закладка для сохранения позиции – укажите поле, которое будет использоваться как закладка для сохранения позиции. Поле должно быть указано в операторе SELECT sql-запроса;
• Интервал между запуском запроса в секундах – укажите интервал, через который будет выполняться проверка новых записей в журнале. Значение указывается секундах;
• Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
• Уровень логирования – выберите уровень журналирования модуля;

• Данные для подключения. В блоке указываются параметры подключения к БД:

  • Сервер для подключения – укажите адрес сервера БД;
  • Порт для подключения – укажите порт сервера БД;
  • Драйвер для подключения – укажите драйвер для подключения к БД, например MySQL ODBC 8.0 Driver;
  • База данных для подключения – укажите наименование БД;
  • Имя пользователя – укажите имя пользователя БД;
  • Пароль – укажите пароль пользователя для подключения к БД;
  • Дополнительные параметры подключения – при необходимости укажите дополнительные параметры подключения к БД.

Модуль opsec_lea_input

Описание: Сбор событий с источников Checkpoint Firewall (opsec).

Поддержка OC: Linux.

Поддержка фильтрации: нет.

Поддержка настройки кодировки: нет.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

• opsec_sslca_file – укажите путь к файлу, который содержит цифровой сертификат приложения OPSEC;
• opsec_entity_sic_name – укажите официальное имя приложения OPSEC, которое является полным именем приложения, определённым сервером;
• opsec_sic_policy_file – укажите путь к файлу политики SIC;
• Директория расположения утилиты lea_client – укажите путь к директории расположения утилиты lea_client;
• Адрес для прослушивания – укажите IP-адрес расположения утилиты lea_client;
• Порт для прослушивания – укажите порт для подключения к утилите lea_client;
• Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
• Адрес удалённого сервера – укажите IP-адрес агента сбора;
• Порт для аутентификации – укажите порт для аутентификации на агенте сбора;
• Аутентификация для OPSEC – выберите способ аутентификации для OPSEC: sslca, fwn1;
• Название собираемого журнала – укажите наименование файла журнала;
• Формат сохранения событий – выберите формат сохранения событий;
• Периодичность проверки наличия новых записей в журналах – укажите интервал проверки наличия новых записей в журналах. Значение задается в секундах;
• opsec_sic_name –укажите DN сервера Checkpoint;
• Уровень логирования – выберите уровень журналирования модуля.

Модуль sftp_input

Описание: Чтение файла, доступного через SFTP.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть. Настройка блока имеет следующие особенности:

• Исходная кодировка – укажите кодировку событий источника. Если значение не указано, то профиль сбора попытается определить кодировку самостоятельно;
• Изменить кодировку событий на UTF-8 – опция, позволяющая изменить кодировку исходника в utf8;
• Размер буфера для определения исходной кодировки – укажите размер буфера, который будет использоваться для определения кодировки (в байтах).

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

• Пароль – укажите пароль пользователя ssh;
• Директория поиска по регулярному выражению – укажите каталог для поиска файлов по регулярному выражению;
• Список файлов для чтения – укажите список файлов журналов;
• Удалять разделитель событий – настройте параметры чтения многострочных событий;
• Использовать регулярное выражение для поиска файлов – при необходимости включите опцию, позволяющую использовать regexp (регулярные выражения) для поиска файлов журналов;
• Разделитель событий в файле для многострочных событий – настройте параметры чтения многострочных событий;
• Формат событий в файлах – настройте параметры чтения многострочных событий;
• Формат сохранения событий – выберите формат сохранения событий;
• Имя пользователя – укажите имя пользователя ssh;
• Адреc для подключения – укажите адрес sftp сервера;
• Порт для подключения – укажите порт sftp сервера;
• Интервал между запуском запроса в секундах – укажите интервал между чтением файлов, в секундах;
• Отсутствие разделителя событий в файле, используется для чтения событий в форматах JSON и XML без явного разделителя – настройте параметры чтения многострочных событий;
• Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
• Регулярное выражение для поиска файлов – укажите регулярное выражение для поиска файлов журнала;
• Интервал проверки директории на наличие новых файлов (в секундах) – укажите интервал поиска новых файлов в указанных каталогах. Значение указывается в секундах;
• Читать только новые события – при необходимости включите опцию, которая позволяет забирать из журнала только новые события;
• Уровень логирования – выберите уровень журналирования модуля.

Модуль smb_input

Описание: Чтение файла, доступного через SMB.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть. Настройка блока имеет следующие особенности:

• Исходная кодировка – укажите кодировку событий источника. Если значение не указано, то профиль сбора попытается определить кодировку самостоятельно;
• Изменить кодировку событий на UTF-8 – опция, позволяющая изменить кодировку исходника в utf8;
• Размер буфера для определения исходной кодировки – укажите размер буфера, который будет использоваться для определения кодировки (в байтах).

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

• Формат событий в файлах – настройте параметры чтения многострочных событий;
• IP адрес для подключения – укажите адрес SMB сервера;
• Имя сетевой папки – укажите путь к папкам и файлам, открытым к свободному доступу  на сервере, использующем протокол SMB. должен соответствовать формату <share> или \\<server>\<share>;
• Разделитель событий в файле для многострочных событий – настройте параметры чтения многострочных событий;
• Отсутствие разделителя событий в файле, используется для чтения событий в форматах JSON и XML без явного разделителя – настройте параметры чтения многострочных событий;
• Домен – укажите домен SMB сервера;
• Имя пользователя – укажите имя пользователя для подключения к SMB серверу;
• Пароль – укажите пароль пользователя;
• Директория поиска по регулярному выражению – укажите каталог для поиска файлов по регулярному выражению;
• Регулярное выражение для поиска файлов – укажите регулярное выражение для поиска файлов журнала;
• Интервал проверки директории на наличие новых файлов (в секундах) – укажите интервал поиска новых файлов в указанных каталогах. Значение указывается в секундах;
• Читать только новые события – при необходимости включите опцию, которая позволяет забирать из журнала только новые события;
• Формат сохранения событий – выберите формат сохранения событий;
• Удалять разделитель событий – настройте параметры чтения многострочных событий;
• Список файлов для чтения – укажите список файлов журналов;
• Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
• Порт для подключения – укажите порт SMB сервера;
• Использовать регулярное выражение для поиска файлов – при необходимости включите опцию, позволяющую использовать regexp (регулярные выражения) для поиска файлов журналов;
• Интервал между запуском запроса в секундах – укажите интервал между запуском сканирования файлов. Значение указывается в секундах;
• Уровень логирования – выберите уровень журналирования модуля;

• Настройки аутентификации по Kerberos. В блоке указываются настройки аутентификации по kerberos:

  • Включить аутентификацию по Kerberos – при необходимости включите опцию, которая позволяет использовать для подключения к SMB серверу аутентификацию с помощью kerberos;
  • Имя целевого сервиса – укажите имя целевого сервиса (service principal name);
  • Область (realm) – укажите область сети, используемая kerberos. Параметр регистрозависимый, обычно пишется в верхнем регистре и совпадает с именем домена;
  • Путь до конфигурации Kerberos – укажите путь до конфигурации kerberos;

Модуль snmp_traps_input

Описание: Приём SNMP Traps.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть. Настройка блока имеет следующие особенности:

• Исходная кодировка – укажите кодировку событий источника. Если значение не указано, то профиль сбора попытается определить кодировку самостоятельно;
• Изменить кодировку событий на UTF-8 – опция, позволяющая изменить кодировку исходника в utf8;
• Размер буфера для определения исходной кодировки – укажите размер буфера, который будет использоваться для определения кодировки (в байтах).

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

• Имя SNMP пользователя – укажите имя SNMP пользователя;
• Адрес для прослушивания сетевого интерфейса – укажите адрес SNMP сервера;
• Порт для прослушивания – укажите порт SNMP сервера;
• Принимать только аутентифицированные SNMP v3 Traps – при необходимости включите опцию, которая включает прием только аутентифицированных SNMP v3 Traps;
• Список директорий с .mib файлами для конвертации oid. Если не указаны, oid будут передаваться в сыром виде – укажите список директорий с .mib файлами для конвертации oid. Если не указаны, oid будут передаваться в сыром виде;
• Формат сохранения событий – выберите формат сохранения событий;
• Пароль аутентификации – укажите пароль пользователя. Используется с MD5 или SHA;
• Пароль шифрования для DES – укажите пароль шифрования для DES;
• authoritative_engine_id – укажите движок, который используется в SNMPv3 для идентификации сущностей;
• Метод аутентификации – выберите метод аутентификации на SNMP сервере: MD5, SHA;
• Метод шифрования – выберите метод шифрования. Поддерживается только DES;
• Уровень логирования – выберите уровень журналирования модуля.

Модуль ssh_collector_input

Описание: Выполнение внешней команды через SSH.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

• Порт для подключения – укажите порт для подключения к хосту;
• Путь к файлу с ssh ключам – укажите путь к файлу с ssh ключами;
• Имя пользователя – укажите имя пользователя для удаленного подключения;
• Команда для выполнения по ssh – укажите команду для выполнения по ssh;
• Интервал между выполнением команд(в секундах) – укажите интервал между выполнением команд. Значение указывается в секундах;
• Пароль к файлу с ssh ключами – укажите пароль от файла с ключами;
• Адреc для подключения – укажите список хостов для подключения;
• Формат сохранения событий – выберите формат сохранения событий;
• Уровень логирования – выберите уровень журналирования модуля.

Модуль tcp_input

Описание: Приём TCP трафика.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

• Включение/отключение TLS-соединения на сервере – при необходимости включите использование протокола TLS;
• Включение/отключение распаковки тела запроса – опция, которая включает распаковку тела запроса. Ожидается, что тело запроса упаковано в архив;
• Путь до TLS сертификата – укажите путь для файла сертификата, используемого при включенном TLS соединении;
• Путь до файла ключа – укажите путь для файла ключей, используемых при включенном TLS соединении;
• Пароль к сертификату – укажите пароль к TLS сертификату;
• Порт для прослушивания – укажите порт сервера;
• Размер буфера приема в байтах – укажите размер буфера сообщений. Значение указывается в байтах;
• Путь до файла корневого сертификата – укажите путь до корневого сертификата;
• Требуется клиентский сертификат – при необходимости включите необходимость использования клиентского сертификата для подключения к серверу;
• Максимальное число подключений – укажите лимит соединений с сервером;
• Адрес для прослушивания сетевого интерфейса – укажите адрес сервера;
• Формат сохранения событий – выберите формат сохранения событий;
• Уровень логирования – выберите уровень журналирования модуля.

Модуль udp_input

Описание: Приём UDP трафика.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

• Число воркеров – укажите количество воркеров, которое будет задействовано для обработки событий;
• Адрес для прослушивания сетевого интерфейса – укажите адрес сервера;
• Порт для прослушивания – укажите порт сервера;
• Размер буфера сообщений – укажите размер буфера сообщений. Значение указывается в байтах;
• Время накопления пакета событий (в миллисекундах) – укажите интервал формирования пакета событий;
• Формат сохранения событий – выберите формат сохранения событий;
• Уровень логирования – выберите уровень журналирования модуля.

Модуль wmi_input

Описание:  Cбор событий через механизм WMI.

Поддержка OC: Windows.

Поддержка фильтрации: нет.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

• Адреc для подключения – укажите адрес удаленного сервера;
• Имя пользователя – укажите имя пользователя для удаленного подключения;
• Имена журналов для сбора – из выпадающего списка выберите один или несколько каналов, из которых нужно собирать события. Поле указывается в случае, если не указано поле Путь до файла журнала. Возможные значения:
  • Application;
  • Microsoft-Windows-PowerShell/Operational;
  • Security;
  • System.
• Размер запроса – укажите количество событий, загружаемых за один запрос;
• Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
• Интервал между запуском запроса в секундах – укажите интервал, через который файл (или канал) проверяется на наличие новых записей лога;
• Собирать события начиная с заданного момента – укажите дату и время, с которого необходимо начать собирать события;
• Пароль для авторизации на удаленной системе – укажите пароль пользователя;
• Читать только новые события – при необходимости включите опцию, которая позволяет забирать из журнала только новые события;
• Уровень логирования – выберите уровень журналирования модуля;
• Настройки фильтрации (исключения) событий – в блоке указываются фильтры по полям событий с помощью регулярных выражений. В данном блоке можно указать для полей следующие типы фильтров:
  • Фильтры по времени, пример: 2025-03-13 10:02:55.9689259 +0000 UTC. Используется для следующих полей:
    • Created;
    • EventTime;
  • Числовые фильтры, пример: ^([5-9]\d|\d{3,})$. Используется для следующих полей:
    • EventID;
    • Qualifiers;
    • RecordID;
    • ExecutionProcessID;
    • ThreadID;
    • Version.
  • Строковые фильтры, пример: DESKTOP-IDCMV6G. Используется для следующих полей:
    • Hostname;
    • Msg.
  • Возможные значения:
    • Пример для поля LevelText: Information, Warning, Error;
    • Пример для поля TaskText: Service, State, Event;
    • Пример для поля OpcodeText: ServiceShutdown;
    • Пример для поля ChannelText: System;
    • Пример для поля ProviderTex: System.

Просмотр профиля сбора

Открыть профиль сбора на просмотр можно двумя способами:

• нажмите кнопку в строке нужного профиля сбора;
• нажмите по ссылке в колонке "Название".

Откроется форма просмотра агента сбора. Поля формы формируются в зависимости от выбранного модуля сбора.

На форме просмотра профиля сбора доступно три общих блока: Статистика, Полученные события и Отправленные события (см. рисунок 10).

Рисунок 10 – Форма "Просмотр профиля сбора". Общие блоки

В общих блоках отображается следующая информация:

• Блок Статистика содержит сводную информацию о потоке событий, собранных профилем:

  • Общее количество полученных событий;
  • Общее количество отправленных событий;
  • Дата получения последнего события;
  • Дата отправки последнего события;
  • Статус профиля сбора;
  • Статус подключения к источнику.

• Блок Статистика полученных событий – содержит графическое представление количества полученных событий от источников за период времени;

• Блок Статистика отправленных событий – содержит графическое представление количества отправленных событий в сервис Log-proxy за период времени.

Редактирование профиля сбора

Открыть профиль сбора на редактирование можно следующими способами:

• Перейдите в раздел Источники → Профили сбора и нажмите кнопку в строке нужного профиля сбора.
• Перейдите на форму просмотра профиля сбора (см. рисунок 2) и нажмите кнопку Редактировать.

Внесите необходимые изменения и нажмите кнопку Сохранить.

Экспорт профилей сбора

Для массового экспорта профилей сбора установите нужные флаги и нажмите кнопку Экспортировать. Будет сформирован архив с профилями в формате .zip.

Для экспорта всех профилей сбора нажмите кнопку Экспортировать все.

Импорт профилей сбора

1. Нажмите кнопку Импортировать.
2. В открывшемся окне укажите путь к архиву с профилями сбора.
3. Нажмите кнопку Открыть.
4. Чтобы все изменения вступили в силу нажмите кнопку Синхронизировать.

Удаление профилей сбора

Для удаления профиля сбора нажмите кнопку в соответствующей строке.

Для массового удаления профилей сбора установите нужные флаги и нажмите кнопку Удалить.

Для удаление всех профилей сбора нажмите кнопку Удалить все.

Чтобы все изменения вступили в силу перейдите в раздел Источники → Агенты сбора, выберите агенты сбора, на которых были выполнены изменения и нажмите кнопку Опубликовать.