Профили сбора

Работа с профилями сбора включает в себя следующие процессы:

Настройка профиля сбора.
Просмотр информации о профиле сбора.
Редактирование профиля сбора.
Экспорт профилей сбора.
Импорт профилей сбора.
Удаление профилей сбора.

Для работы с профилями сбора перейдите в раздел Источники → Профили сбора (см. рисунок 1).

Рисунок 1 – Раздел "Профили сбора"

В разделе отображается следующая информация:

Название – наименование профиля сбора;
Тип модуля – тип модуля сбора, по которому работает профиль сбора;
Источник – наименование источника, для которого настроен профиль сбора;
Агент сбора – наименование агента сбора, на котором установлен профиль сбора;
Активен – состояние профиля сбора;
Дата публикации – дата и время публикации информации о профиле сбора в платформе;
Дата создания – дата и время создания профиля сбора;
Дата обновления – дата и время изменения информации о профиле сбора.

Настройка профиля сбора

Настройка профиля сбора заключается в конфигурировании модуля сбора, по которому будет работать профиль.

Внимание! Модуль сбора должен поддерживать ОС, на которой работает агент сбора, иначе профиль сбора работать не будет. Соответствие модулей сбора и ОС приведено в разделе Настройка лог-коллектора. Общие сведения.

Порядок действий для настройки профиля сбора в общем случае выглядит следующим образом:

Нажмите кнопку Создать. Откроется форма "Создание профиля сбора" (см. рисунок 2).

Рисунок 2 – Форма "Создание профиля сбора"
С платформой поставляется набор заранее подготовленных шаблонов профилей сбора. Шаблон выбирается в поле Использовать существующий шаблон. При необходимости вы можете настроить профиль сбора вручную. Для этого укажите на форме следующую информацию:
- Название – наименование профиля сбора формируется автоматически из двух частей: <Наименование модуля>_<Наименование источника>. При необходимости вы можете указать название самостоятельно;
- Агент сбора – из выпадающего списка выберите агент сбора, на котором будет функционировать профиль;
- Источник – из выпадающего списка выберите источник, с которого будут собираться события профилем сбора;
- Модуль сбора –из выпадающего списка выберите модуль сбора, по которому будет работать профиль сбора. Поля формы будут автоматически сформированы для настройки выбранного модуля (см. рисунок 3).
  
  Рисунок 3 – Форма "Создание профиля сбора". Пример настроек модуля
Настройте выбранный модуль сбора. Настройку модуля можно условно поделить на следующие действия:
- Настройка основных параметров модуля (подробно описаны в соответствующих разделах ниже). При необходимости для части настроек вы можете использовать секреты (подробнее см. раздел Секреты).
- Настройка журналирования.
- Настройка кодировки.
- Настройка вывода в файл.
- Настройка фильтрации.
- Настройка подключения к сервису Log-proxy.
После выбора и настройки модуля сбора, станет доступна возможность активировать профиль сбора на выбранном агенте. Для этого в поле Активен установите переключатель в положение "Включен".
Для сохранения изменений нажмите кнопку Сохранить.
Опубликуйте изменения на выбранном агенте сбора, чтобы изменения вступили в силу.

Секреты

Секреты лог-коллектора - это необходимые для работы/настройки значения, которые будут зашифрованы и вставлены в нужные места в профиле сбора для сокрытия информации.

Секреты бывают двух видов:

Глобальные – по умолчанию применяются ко всем коллекторам для удобства работы с ними;
Локальные – переопределяют параметры глобальных секретов для конкретного экземпляра лог-коллектора.

Локальные секреты всегда имеют приоритет выше глобальных.

Создание секретов должно выполняться через веб-интерфейс платформы:

Перейдите в раздел Администрирование → Кластер → вкладка Узлы.
Откройте форму просмотра узла с ролью agent или agent win.
В блоке секреты агента нажмите кнопку Создать секрет (см. рисунок 4).

Рисунок 4 – Форма просмотра узла. Блок "Секреты агента"
Откроется окно "Создать секрет" (см. рисунок 5).

Рисунок 5 – Окно "Создать секрет"
Укажите в окне следующую информацию:
- в поле Название секрета укажите наименование секрета;
- в поле Значение секрета укажите данные, которые необходимо зашифровать;
- если необходимо применить секрет ко всем лог-коллекторам, то включите параметр Глобальный.

Использование секретов в профиле сбора: При настройке модуля профиля сбора, можно в качестве значения параметра указать конкретное значение или секрет. Для переключения между режимами ввода информации используйте соответствующий переключатель (см. рисунок 6).

Рисунок 6 – Способы указания параметров модуля сбора

Журналирование

Для большинства модулей сбора можно настроить уровень журналирования работы модуля. Поддерживаются следующие уровни журналирования:

ERROR – записывать сообщения об ошибках;
WARN – записывать предупреждающие сообщения, которые указывают на потенциальные проблемы или ситуации, которые могут привести к ошибкам в будущем;
INFO – записывать информационные сообщения, которые сообщают о нормальном функционировании приложения;
DEBUG – записывать отладочную информацию;
TRACE – записывает всю информацию о работе сервиса;
ALL – записывать все сообщения.

Настройка выполняется в поле Уровень логирования.

Фильтрация

Фильтры применяются к собранным событиям от источников перед формированием очереди на отправку. Фильтр представляет из себя массив регулярных выражений, которые реализуют механизм черных и белых списков:

Белый список – события, которые соответствуют регулярному выражению, попадают в очередь на отправку.
Черный список – события, которые соответствуют регулярному выражению, блокируются и не попадают в очередь на отправку.

Сначала проверяется белый список, а затем черный.

Фильтры задаются в блоке Настройки фильтрации (см. рисунок 7).

Рисунок 7 – Форма "Создание профиля сбора". Блок настройки фильтрации

В блоке доступны следующие настройки:

Белый список – укажите массив регулярных выражений, формирующий белый список;
Черный список – укажите массив регулярных выражений, формирующий черный список.

Возможность применения фильтра к компоненту сбора обуславливается типом собираемых данных: структурированные или неструктурированные. Например, данные, собираемые от источников wmi, eventlog, odbc, etw являются структурированными, а от остальных источников – неструктурированные.

Кодировка собираемых данных

Профиль сбора позволяет настроить кодировку данных, собираемых от источников. Для этого в параметрах выбранного модуля сбора используется блок Настройки кодировки (см. рисунок 8).

Рисунок 8 – Форма "Создание профиля сбора". Блок "Настройки кодировки"

В блоке доступны следующие настройки:

Исходная кодировка – укажите кодировку событий источника. Если значение не указано, то профиль сбора попытается определить кодировку самостоятельно;
Изменить кодировку событий на UTF-8 – опция, позволяющая изменить кодировку исходника в utf8.

Запись потока событий в файл

Для профиля сбора можно настроить отправку получаемого потока событий в локальный файл. Для этого в параметрах выбранного модуля сбора используется блок Вывод в файл (см. рисунок 9).

Рисунок 9 – Форма "Создание профиля сбора". Блок "Вывод в файл"

В блоке доступны следующие настройки:

Путь до файла – укажите путь до локального файла, в который будут выводиться события;
Включить вывод в файл – опция, позволяющая включить вывод потока событий в файл.

Формат сохранения событий

Лог-коллектор позволяет настроить для компонентов сбора формат сохранения событий. Для этого в параметрах компонентов сбора используется поле Формат сохранения событий, которое может иметь следующие значения:

raw – данные сохраняются в том виде, в котором пришли;
json – пришедшие данные обогащаются дополнительной технической информацией и упаковываются в пакет json.

Данная настройка применима только к неструктурированным данным (кроме eventlog_input, wmi_input, odbc_input, etw_input).

Параметры чтения многострочных событий

В модули сбора file_input, sftp_input, smb_input, ftp_input добавлены параметры чтения из событий следующих форматов: RAW, JSON, XML (по умолчанию RAW). Параметр настраивается в поле Формат событий в файлах.

При этом для этих модулей можно настроить параметры чтения многострочных событий:

Разделитель событий в файле для многострочных событий. В поле указывается символ для разделения событий. Поддерживаются любые строки (один и несколько символов), также поддерживаются файлы в не utf-8 кодировке. Если поле не указано, то файлы будут читаться построчно.
Удалять разделитель событий. В поле включается опция, удаляющая разделитель. При включенной опции строка разделителя удаляется из прочитанных событий.
Отсутствие разделителя событий в файле, используется для чтения событий в форматах JSON и XML без явного разделителя. Если указан разделитель, конец файла не считается концом события. Т.е. Если указан ';' прочитаны будут все события до последнего ';'. Остаток файла после него читаться не будет, т.к. событие получается неполное. Для того, чтобы этого избежать, в данном поле можно включить отсутствие разделителя. Опция применима только для чтения событий в форматах JSON и XML без явного разделителя. При всех других сочетаниях параметров файлы будут читаться как RAW построчно или с указанным разделителем.

При использовании разделителя автоматическое определение кодировки может срабатывать неправильно и разделение событий по разделителю не будет работать. Поэтому для файлов в кодировке отличной от utf-8 не рекомендуется изменять кодировку событий (см. Кодировка собираемых данных).

Настройка подключения к сервису Log-proxy

Для профиля сбора можно выполнить тонкую настройку подключения к сервису Log-proxy. Для этого в параметрах выбранного модуля сбора используется блок Настройки подключения к LogProxy (см. рисунок 10).

Рисунок 10 – Форма "Создание профиля сбора". Блок "Настройки подключения к LogProxy"

В блоке доступны следующие настройки:

Переопределить параметры агента – при необходимости включите для выбранного модуля сбора переопределение параметров, выставленных для агента сбора (см. раздел Настройки контроллера);
Размер буфера на запись – укажите размер буфера, который используется при записи событий;
Размер буфера на чтение – укажите размер буфера, который используется при чтении событий;
Включить сжатие – при необходимости включите компрессию событий.

Настройки будут применены для всех профилей сбора, установленных на агенте. При необходимости в настройках профиля сбора их можно переопределить для конкретного модуля сбора.

Настройки фильтрации (исключения) событий

Для модулей eventlog_input_local, eventlog_input_remote, mseven6_input, wmi_input можно задать фильтры по полям событий с помощью регулярных выражений. Для этого в параметрах выбранного модуля сбора используется блок Настройки фильтрации (исключения) событий (см. рисунок 11).

Рисунок 11 – Форма "Создание профиля сбора". Блок "Настройки фильтрации (исключения) событий"

В данном блоке можно указать для полей следующие типы фильтров:

Фильтры по времени, пример: 2025-03-13 10:02:55.9689259 +0000 UTC. Используется для следующих полей:
- Created;
- EventTime.
Числовые фильтры, пример: ^([5-9]\d|\d{3,})$. Используется для следующих полей:
- EventID;
- Qualifiers;
- RecordID;
- ExecutionProcessID;
- ThreadID;
- Version.
Строковые фильтры, пример: DESKTOP-IDCMV6G. Используется для следующих полей:
- Hostname;
- Msg.
Возможные значения:
- Пример для поля LevelText: Information, Warning, Error;
- Пример для поля TaskText: Service, State, Event;
- Пример для поля OpcodeText: ServiceShutdown;
- Пример для поля ChannelText: System;
- Пример для поля ProviderTex: System.

Модуль etw_input

Описание: Локальный сбор событий через технологию Event Tracing for Windows (ETW).

Поддержка OC: Только Windows.

Поддержка фильтрации: нет.

Поддержка настройки кодировки: нет.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

Провайдер событий (название или GUID) – укажите наименование элемента системы, который генерирует события и отправляет их коннектору ETW. Например Microsoft-Windows-Networking-Correlation;
Список keyword – укажите ключевые слова для фильтрации событий. Например, 0xFFFFFFFFFFFFFFFF.Подробнее о ключевых словах см. на сайте;
Уровень трассировки – из выпадающего списка выберите уровень важности для фильтрации событий. Доступны следующие значения:
- VERBOSE – передавать подробные сообщения, которые предоставляет более подробную информацию, чем уровень information;
- INFORMATION – передавать информационные сообщения, которые сообщают о нормальном функционировании приложения;
- WARNING – передавать предупреждающие сообщения, которые указывают на потенциальные проблемы или ситуации, которые могут привести к ошибкам в будущем;
- ERROR – передавать сообщения об ошибках;
- CRITICAL – передавать сообщения об ошибках, которые указывает на серьёзную проблему, способную повлиять на стабильность или производительность.
Уровень логирования – выберите уровень журналирования модуля.

Модуль eventlog_input_local

Описание: Локальный сбор событий через Windows EventLog по механизму RPC.

Поддержка OC: Только Windows.

Поддержка фильтрации: нет.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

Имена журналов для сбора – из выпадающего списка выберите один или несколько каналов, из которых нужно собирать события. Поле указывается в случае, если не указано поле Путь до файла журнала. Возможные значения:
- Application;
- Microsoft-Windows-PowerShell/Operational;
- Security;
- System.
Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
Фильтр событий – укажите запрос для фильтрации событий для чтения с помощью выражения XPath. Возможные значения:
- структурированный XML запрос, например <QueryList><Query><Select Path=\"Security\">*[System[(EventID=42) and (Level=2)]]</Select></Query></QueryList>;
- * - все параметры.
Размер запроса – укажите количество событий, загружаемых за один запрос;
Интервал между запуском запроса в секундах – укажите интервал, через который файл (или канал) проверяется на наличие новых записей лога;
Количество параллельных воркеров – укажите количество воркеров, которое будет задействовано для обработки событий;
Уровень логирования – выберите уровень журналирования модуля;
Путь до файла журнала – укажите путь к файлу журнала для сбора событий от источника. Поддерживаемые форматы .evt, .evtx, .etl;
Таймаут запроса в секундах – укажите таймаут отправки запроса в секундах;
Читать только новые события – при необходимости включите опцию, которая позволяет забирать из журнала только новые события;
Определять имя пользователя по SID – при необходимости включите опцию, которая позволяет конвертировать значения SID в имена пользователей;
Примерный размер буфера событий – укажите размер буфера, который используется при получении событий. Значение по умолчанию: 1000. Для определения оптимального размера буфера используется следующая формула: Размер запроса * Количество параллельных воркеров, где результат корректируется до ближайшего значения, кратного результатам умножения;
Минимальный интервал переподключения (в минутах) – укажите минимальное время ожидания переподключения к источнику в минутах (при недоступности источника). Значение по умолчанию: 1;
Максимальный интервал переподключения (в минутах) – укажите максимальное время ожидания переподключения к источнику в минутах (при недоступности источника). Значение по умолчанию 15. Максимальное значение: 30;
Настройки фильтрации (исключения) событий – укажите регулярные выражения для настройки фильтрации (исключения) событий.

Модуль eventlog_input_remote

Описание: Удаленный сбор событий через Windows EventLog по механизму RPC.

Поддержка OC: Только Windows.

Поддержка фильтрации: нет.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

Имена журналов для сбора – из выпадающего списка выберите один или несколько каналов, из которых нужно собирать события. Поле указывается в случае, если не указано поле Путь до файла журнала. Возможные значения:
- Application;
- Microsoft-Windows-PowerShell/Operational;
- Security;
- System.
Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
Метод аутентификации – из выпадающего списка выберите метод аутентификации к удаленному серверу. Доступные значения:
- Negotiate;
- Kerberos;
- NTLM.
Адрес сервера для подключения – укажите адрес удаленного сервера;
Фильтр событий – укажите запрос для фильтрации событий для чтения с помощью выражения XPath. Возможные значения:
- структурированный XML запрос, например <QueryList><Query><Select Path=\"Security\">*[System[(EventID=42) and (Level=2)]]</Select></Query></QueryList>;
- * - все параметры.
Размер запроса – укажите количество событий, загружаемых за один запрос;
Интервал между запуском запроса в секундах – укажите интервал, через который файл (или канал) проверяется на наличие новых записей лога;
Количество параллельных воркеров – укажите количество воркеров, которое будет задействовано для обработки событий;
Уровень логирования – выберите уровень журналирования модуля;
Путь до файла журнала – укажите путь к файлу журнала для сбора событий от источника. Поддерживаемые форматы .evt, .evtx, .etl;
Таймаут запроса в секундах – укажите таймаут отправки запроса в секундах;
Читать только новые события – при необходимости включите опцию, которая позволяет забирать из журнала только новые события;
Определять имя пользователя по SID – при необходимости включите опцию, которая позволяет конвертировать значения SID в имена пользователей;
Примерный размер буфера событий – укажите размер буфера, который используется при получении событий. Значение по умолчанию: 1000. Для определения оптимального размера буфера используется следующая формула: Размер запроса * Количество параллельных воркеров, где результат корректируется до ближайшего значения, кратного результатам умножения;
Минимальный интервал переподключения (в минутах) – укажите минимальное время ожидания переподключения к источнику в минутах (при недоступности источника). Значение по умолчанию: 1;
Максимальный интервал переподключения (в минутах) – укажите максимальное время ожидания переподключения к источнику в минутах (при недоступности источника). Значение по умолчанию 15. Максимальное значение: 30;
Имя пользователя – укажите имя пользователя для удаленного подключения;
Пароль – укажите пароль пользователя;
Домен – укажите домен для удаленного подключения;
Включить удалённое подключение – для данного модуля удаленное подключение используется по умолчанию. Параметр нельзя изменить;
Настройки фильтрации (исключения) событий – укажите регулярные выражения для настройки фильтрации (исключения) событий.

Модуль external_command_input

Описание: Выполнение внешней команды в ОС.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

Команда bash/cmd – укажите исполняемую команду в формате bash/cmd для OC Linux/Windows соответственно;
Интервал между запуском запроса в секундах – укажите интервал между выполнением команд в секундах;
Формат сохранения событий – выберите формат сохранения событий;
Уровень логирования – выберите уровень журналирования модуля.

Модуль file_input

Описание: Сбор событий из локального файла.

Предварительно необходимо создать файл, из которого будет идти чтение, например /var/log/logcollector/test_logs.txt.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть. Настройка блока имеет следующие особенности:

Исходная кодировка – укажите кодировку событий источника. Если значение не указано, то профиль сбора попытается определить кодировку самостоятельно;
Изменить кодировку событий на UTF-8 – опция, позволяющая изменить кодировку исходника в utf8;
Размер буфера для определения исходной кодировки – укажите размер буфера, который будет использоваться для определения кодировки (в байтах).

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

Список файлов для чтения – укажите путь к файлам журналов;
Использовать регулярное выражение для поиска файлов – при необходимости включите опцию, позволяющую использовать regexp (регулярные выражения) для поиска файлов журналов;
Интервал между запуском запроса в секундах – укажите интервал между чтением файлов, в секундах;
Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
Уровень логирования – выберите уровень журналирования модуля;
Формат событий в файлах – настройте параметры чтения многострочных событий;
Разделитель событий в файле для многострочных событий – настройте параметры чтения многострочных событий;
Отсутствие разделителя событий в файле, используется для чтения событий в форматах JSON и XML без явного разделителя – настройте параметры чтения многострочных событий;
Директория поиска по регулярному выражению – укажите начальный каталог для поиска файлов;
Регулярное выражение для поиска файлов – укажите регулярное выражение для поиска файлов журнала;
Читать только новые события – при необходимости включите опцию, которая позволяет забирать из журнала только новые события;
Отслеживать переименование файлов – при необходимости включите опцию, которая позволяет использовать мониторинг наименований всех файлов журналов с помощью file watchers;
Формат сохранения событий – выберите формат сохранения событий;
Удалять разделитель событий – настройте параметры чтения многострочных событий;
Интервал проверки директории на наличие новых файлов (в секундах) – укажите интервал поиска новых файлов в указанных каталогах. Значение указывается в секундах.

Модуль ftp_input

Описание: Чтение файла, доступного через FTP сервер. Предварительно необходимо создать файл, из которого будет идти чтение.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть. Настройка блока имеет следующие особенности:

Исходная кодировка – укажите кодировку событий источника. Если значение не указано, то профиль сбора попытается определить кодировку самостоятельно;
Изменить кодировку событий на UTF-8 – опция, позволяющая изменить кодировку исходника в utf8;
Размер буфера для определения исходной кодировки – укажите размер буфера, который будет использоваться для определения кодировки (в байтах).

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

Адреc для подключения – укажите адреса для подключения к ftp-серверу;
Порт для подключения – укажите порт для подключения к ftp-серверу;
Интервал между запуском запроса в секундах – укажите интервал между чтением файлов. Значение указывается в секундах;
Список файлов для чтения – укажите путь к файлам журналов;
Использовать регулярное выражение для поиска файлов – при необходимости включите опцию, позволяющую использовать regexp (регулярные выражения) для поиска файлов журналов;
Разделитель событий в файле для многострочных событий – настройте параметры чтения многострочных событий;
Формат событий в файлах – настройте параметры чтения многострочных событий;
Отсутствие разделителя событий в файле, используется для чтения событий в форматах JSON и XML без явного разделителя – настройте параметры чтения многострочных событий;
Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
Уровень логирования – выберите уровень журналирования модуля.
Имя пользователя – укажите имя пользователя для доступа к ftp-серверу;
Пароль – укажите пароль пользователя;
Директория поиска по регулярному выражению – укажите каталог для поиска файлов по регулярному выражению;
Регулярное выражение для поиска файлов – укажите регулярное выражение для поиска файлов журнала;
Интервал проверки директории на наличие новых файлов (в секундах) – укажите интервал поиска новых файлов в указанных каталогах. Значение указывается в секундах;
Читать только новые события – при необходимости включите опцию, которая позволяет забирать из журнала только новые события;
Формат сохранения событий – выберите формат сохранения событий;
Удалять разделитель событий – настройте параметры чтения многострочных событий.

Модуль http_collector_input

Описание: Чтение файла, доступного через HTTP/HTTPs. Предварительно необходимо создать файл, из которого будет идти чтение.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

Удаленный адрес для вызовов http – укажите адрес сервера для http запросов;
Удаленный порт – укажите порт сервера для http запросов;
Включение/отключение TLS-соединения на сервере – при необходимости включите использование протокола Transport Layer Security (TLS) для обеспечения безопасной передачи данных;
Имя файла для получения по http – укажите наименование файла для получения по HTTP;
Уровень логирования – выберите уровень журналирования модуля;
Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
Периодичность проверки наличия новых записей в журналах – укажите интервал между чтением файлов, в секундах;
Таймаут выполнения запроса – укажите ограничение времени обработки запросов, сделанных http клиентом. Значение указывается в секундах;
Путь до TLS сертификата – укажите путь для файла сертификата, используемого при включенном TLS соединении;
Путь до файла ключа – укажите путь для файла ключей, используемых при включенном TLS соединении;
Пароль к сертификату – укажите пароль к TLS сертификату;
Путь до файла корневого сертификата – укажите путь до корневого сертификата;
Формат сохранения событий – выберите формат сохранения событий;
Имя пользователя для базовой авторизации – укажите имя пользователя для базовой авторизации на http сервере. Если значение не указано, то считается, что авторизация выключена;
Пароль для базовой авторизации – укажите пароль пользователя.

Модуль http_request_input

Описание: Приём HTTP/HTTPs-запросов.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

Адрес для прослушивания сетевого интерфейса – укажите адрес сервера;
Порт для прослушивания – укажите порт сервера;
Включение/отключение распаковки тела запроса – при необходимости включите автоматическую распаковку тела запроса;
Уровень логирования – выберите уровень журналирования модуля;
Максимальное число подключений – укажите лимит соединений с сервером;
Формат сохранения событий – выберите формат сохранения событий;
TLS. В блоке указываются параметры использования протокола Transport Layer Security (TLS) для обеспечения безопасной передачи данных:
- Включение/отключение TLS-соединения на сервере – при необходимости включите использование протокола TLS;
- Путь до файла сертификата – укажите путь для файла сертификата, используемого при включенном TLS соединении;
- Путь до файла ключа – укажите путь для файла ключей, используемых при включенном TLS соединении;
- Пароль к сертификату – укажите пароль к TLS сертификату;
- Требуется клиентский сертификат – при необходимости включите необходимость использования клиентского сертификата для подключения к серверу;
- Путь до файла корневого сертификата – укажите путь до корневого сертификата.

Модуль kafka_input

Описание: Приём HTTP/HTTPs-запросов.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: нет.

Поддержка настройки кодировки: нет.

Поддержка вывода в файл: нет.

Пример формы настройки модуля:

Параметры модуля:

Адреc для подключения – укажите адрес для подключения к сервису Kafka;
Порт для подключения – укажите порт для подключения к сервису Kafka;
Топик – укажите заголовок, по которому будет выполняться чтение. Допустимые значения:
- termit_output_normalized – нормализованные события;
- termit_output_parsing – разобранные события;
- termit_output_error – неразобранные события;
Offset – выберите из выпадающего списка способ смещения событий: с самого раннего, с последнего;
Название группы потребителей – укажите группу потребителей (consumer) в сервисе которая будет читать сообщения из сервиса Kafka;
SSL – при необходимости включите использование протокола SSL;
Пропустить проверку сертификата – при необходимости включите опцию, которая позволяет пропустить проверку сертификата при обращении к сервису Kafka;
Размер пакета – укажите количество событий, которое будет передано в одном пакете;
Частота отправки пакетов (миллисекунды) – укажите интервал отправки пакетов. Значение указывается в миллисекундах;
Ограничение чтения потока – укажите ограничение чтения потока. Параметр 0 – без ограничений;
Уровень логирования – выберите уровень журналирования модуля.

Модуль mseven6_input

Описание: модуль для сбора событий по протоколу MS-EVEN6 с Windows Vista и выше.

Поддержка OC: Linux.

Поддержка фильтрации: нет.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

Список адресов для подключения – укажите адреса удаленных серверов, с которых будут собираться события;
Имена журналов для сбора – из выпадающего списка выберите один или несколько каналов, из которых нужно собирать события. Поле указывается в случае, если не указано поле Путь до файла журнала. Возможные значения:
- Application;
- Microsoft-Windows-PowerShell/Operational;
- Security;
- System.
Фильтр событий – укажите запрос для фильтрации событий для чтения с помощью выражения XPath. Возможные значения:
- структурированный XML запрос, например <QueryList><Query><Select Path=\"Security\">*[System[(EventID=42) and (Level=2)]]</Select></Query></QueryList>;
- * - все параметры.
Перечитать исторические данные при первом запуске – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
Размер запроса – укажите количество событий, загружаемых за один запрос;
Интервал между подключениями к источнику в секундах – укажите интервал между подключениями к источнику;
Отключить рендеринг полей LevelText, OpcodeText, TaskText – при необходимости включите опцию, которая отключит рендеринг полей LevelText, OpcodeText, TaskText;
Уровень логирования – выберите уровень журналирования модуля;
Число событий для переключения канала – в случае, если указано несколько источников или каналов, опция считает число событий и при достижении указанного значения, переключается на чтение следующего источника;
Интервал очистки кэша рендеринга в секундах – укажите интервал очистки кэша;
Интервал между запросами в миллисекундах – укажите интервал, через который файл (или канал) проверяется на наличие новых записей лога;
Имя пользователя – укажите имя пользователя для доступа к удаленному серверу;
Домен – укажите наименование домена источника;
Пароль – укажите пароль пользователя;
Таймаут запроса в миллисекундах – укажите таймаут отправки запроса;
Имя рабочей группы – укажите наименование рабочей группы;
Настройки фильтрации (исключения) событий – укажите регулярные выражения для настройки фильтрации (исключения) событий.

Модуль nf_input

Описание: Прием NetFlow трафика.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

Адрес для прослушивания сетевого интерфейса – укажите адрес Netflow сервера;
Порт для подключения – укажите порт Netflow сервера;
Размер буфера сообщений – укажите размер буфера сообщений. Если параметр не задан, то значение берется из параметра Netflow сервера SO_RCVBUF. Значение указывается в байтах;
Уровень логирования – выберите уровень журналирования модуля.

Модуль odbc_input

Описание: Чтение данных из СУБД (MySQL, Oracle, MS SQL, PostgreSQL).

Поддержка OC: Windows, Linux.

Поддержка фильтрации: нет.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

SQL запрос – укажите SQL запрос к базе данных;
Поле, которое будет использоваться как закладка для сохранения позиции – укажите поле, которое будет использоваться как закладка для сохранения позиции. Поле должно быть указано в операторе SELECT sql-запроса;
Интервал между запуском запроса в секундах – укажите интервал, через который будет выполняться проверка новых записей в журнале. Значение указывается секундах;
Сохранять позицию чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
Уровень логирования – выберите уровень журналирования модуля;
Данные для подключения. В блоке указываются параметры подключения к БД:
- Сервер для подключения – укажите адрес сервера БД;
- Порт для подключения – укажите порт сервера БД;
- Драйвер для подключения – укажите драйвер для подключения к БД, например MySQL ODBC 8.0 Driver;
- База данных для подключения – укажите наименование БД;
- Имя пользователя – укажите имя пользователя БД;
- Пароль – укажите пароль пользователя для подключения к БД;
- Дополнительные параметры подключения – при необходимости укажите дополнительные параметры подключения к БД.

Модуль opsec_lea_input

Описание: Сбор событий с источников Checkpoint Firewall (opsec).

Поддержка OC: Linux.

Поддержка фильтрации: нет.

Поддержка настройки кодировки: нет.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

Директория расположения утилиты lea_client – укажите путь к директории расположения утилиты lea_client;
Адрес для прослушивания – укажите IP-адрес расположения утилиты lea_client;
Порт для прослушивания – укажите порт для подключения к утилите lea_client;
Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
Периодичность проверки наличия новых записей в журналах – укажите интервал проверки наличия новых записей в журналах. Значение задается в секундах;
Адрес удалённого сервера – укажите IP-адрес агента сбора;
Порт для аутентификации – укажите порт для аутентификации на агенте сбора;
Аутентификация для OPSEC – выберите способ аутентификации для OPSEC: sslca, fwn1;
opsec_sic_name –укажите DN сервера Checkpoint;
opsec_sslca_file – укажите путь к файлу, который содержит цифровой сертификат приложения OPSEC;
opsec_entity_sic_name – укажите официальное имя приложения OPSEC, которое является полным именем приложения, определённым сервером;
opsec_sic_policy_file – укажите путь к файлу политики SIC;
Название собираемого журнала – укажите наименование файла журнала;
Уровень логирования – выберите уровень журналирования модуля;
Формат сохранения событий – выберите формат сохранения событий.

Модуль sftp_input

Описание: Чтение файла, доступного через SFTP.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть. Настройка блока имеет следующие особенности:

Исходная кодировка – укажите кодировку событий источника. Если значение не указано, то профиль сбора попытается определить кодировку самостоятельно;
Изменить кодировку событий на UTF-8 – опция, позволяющая изменить кодировку исходника в utf8;
Размер буфера для определения исходной кодировки – укажите размер буфера, который будет использоваться для определения кодировки (в байтах).

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

Адреc для подключения – укажите адрес sftp сервера;
Порт для подключения – укажите порт sftp сервера;
Интервал между запуском запроса в секундах – укажите интервал между чтением файлов, в секундах;
Список файлов для чтения – укажите список файлов журналов;
Использовать регулярное выражение для поиска файлов – при необходимости включите опцию, позволяющую использовать regexp (регулярные выражения) для поиска файлов журналов;
Разделитель событий в файле для многострочных событий – настройте параметры чтения многострочных событий;
Формат событий в файлах – настройте параметры чтения многострочных событий;
Отсутствие разделителя событий в файле, используется для чтения событий в форматах JSON и XML без явного разделителя – настройте параметры чтения многострочных событий;
Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
Уровень логирования – выберите уровень журналирования модуля;
Имя пользователя – укажите имя пользователя ssh;
Пароль – укажите пароль пользователя ssh;
Директория поиска по регулярному выражению – укажите каталог для поиска файлов по регулярному выражению;
Регулярное выражение для поиска файлов – укажите регулярное выражение для поиска файлов журнала;
Интервал проверки директории на наличие новых файлов (в секундах) – укажите интервал поиска новых файлов в указанных каталогах. Значение указывается в секундах;
Читать только новые события – при необходимости включите опцию, которая позволяет забирать из журнала только новые события;
Формат сохранения событий – выберите формат сохранения событий;
Удалять разделитель событий – настройте параметры чтения многострочных событий.

Модуль smb_input

Описание: Чтение файла, доступного через SMB.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть. Настройка блока имеет следующие особенности:

Исходная кодировка – укажите кодировку событий источника. Если значение не указано, то профиль сбора попытается определить кодировку самостоятельно;
Изменить кодировку событий на UTF-8 – опция, позволяющая изменить кодировку исходника в utf8;
Размер буфера для определения исходной кодировки – укажите размер буфера, который будет использоваться для определения кодировки (в байтах).

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

IP адрес для подключения – укажите адрес SMB сервера;
Имя сетевой папки – укажите путь к папкам и файлам, открытым к свободному доступу на сервере, использующем протокол SMB. должен соответствовать формату <share> или \\<server>\<share>;
Список файлов для чтения – укажите список файлов журналов;
Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
Порт для подключения – укажите порт SMB сервера;
Использовать регулярное выражение для поиска файлов – при необходимости включите опцию, позволяющую использовать regexp (регулярные выражения) для поиска файлов журналов;
Формат событий в файлах – настройте параметры чтения многострочных событий;
Интервал между запуском запроса в секундах – укажите интервал между запуском сканирования файлов. Значение указывается в секундах;
Уровень логирования – выберите уровень журналирования модуля;
Разделитель событий в файле для многострочных событий – настройте параметры чтения многострочных событий;
Отсутствие разделителя событий в файле, используется для чтения событий в форматах JSON и XML без явного разделителя – настройте параметры чтения многострочных событий;
Домен – укажите домен SMB сервера;
Имя пользователя – укажите имя пользователя для подключения к SMB серверу;
Пароль – укажите пароль пользователя;
Директория поиска по регулярному выражению – укажите каталог для поиска файлов по регулярному выражению;
Регулярное выражение для поиска файлов – укажите регулярное выражение для поиска файлов журнала;
Интервал проверки директории на наличие новых файлов (в секундах) – укажите интервал поиска новых файлов в указанных каталогах. Значение указывается в секундах;
Читать только новые события – при необходимости включите опцию, которая позволяет забирать из журнала только новые события;
Формат сохранения событий – выберите формат сохранения событий;
Удалять разделитель событий – настройте параметры чтения многострочных событий;
Настройки аутентификации по Kerberos. В блоке указываются настройки аутентификации по kerberos:
- Включить аутентификацию по Kerberos – при необходимости включите опцию, которая позволяет использовать для подключения к SMB серверу аутентификацию с помощью kerberos;
- Имя целевого сервиса – укажите имя целевого сервиса (service principal name);
- Область (realm) – укажите область сети, используемая kerberos. Параметр регистрозависимый, обычно пишется в верхнем регистре и совпадает с именем домена;
- Путь до конфигурации Kerberos – укажите путь до конфигурации kerberos.

Модуль snmp_traps_input

Описание: Приём SNMP Traps.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть. Настройка блока имеет следующие особенности:

Исходная кодировка – укажите кодировку событий источника. Если значение не указано, то профиль сбора попытается определить кодировку самостоятельно;
Изменить кодировку событий на UTF-8 – опция, позволяющая изменить кодировку исходника в utf8;
Размер буфера для определения исходной кодировки – укажите размер буфера, который будет использоваться для определения кодировки (в байтах).

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

Адрес для прослушивания сетевого интерфейса – укажите адрес SNMP сервера;
Порт для прослушивания – укажите порт SNMP сервера;
Принимать только аутентифицированные SNMP v3 Traps – при необходимости включите опцию, которая включает прием только аутентифицированных SNMP v3 Traps;
Список директорий с .mib файлами для конвертации oid. Если не указаны, oid будут передаваться в сыром виде – укажите список директорий с .mib файлами для конвертации oid. Если не указаны, oid будут передаваться в сыром виде;
Метод аутентификации – выберите метод аутентификации на SNMP сервере: MD5, SHA;
Метод шифрования – выберите метод шифрования. Поддерживается только DES;
Имя SNMP пользователя – укажите имя SNMP пользователя;
Уровень логирования – выберите уровень журналирования модуля;
Формат сохранения событий – выберите формат сохранения событий;
Пароль аутентификации – укажите пароль пользователя. Используется с MD5 или SHA;
Пароль шифрования для DES – укажите пароль шифрования для DES;
authoritative_engine_id – укажите движок, который используется в SNMPv3 для идентификации сущностей.

Модуль ssh_collector_input

Описание: Выполнение внешней команды через SSH.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

Адреc для подключения – укажите список хостов для подключения;
Порт для подключения – укажите порт для подключения к хосту;
Путь к файлу с ssh ключам – укажите путь к файлу с ssh ключами;
Имя пользователя – укажите имя пользователя для удаленного подключения;
Пароль к файлу с ssh ключами – укажите пароль от файла с ключами;
Команда для выполнения по ssh – укажите команду для выполнения по ssh;
Интервал между выполнением команд (в секундах) – укажите интервал между выполнением команд. Значение указывается в секундах;
Уровень логирования – выберите уровень журналирования модуля;
Формат сохранения событий – выберите формат сохранения событий.

Модуль tcp_input

Описание: Приём TCP трафика.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

Адрес для прослушивания сетевого интерфейса – укажите адрес сервера;
Порт для прослушивания – укажите порт сервера;
Размер буфера приема в байтах – укажите размер буфера сообщений. Значение указывается в байтах;
Включение/отключение TLS-соединения на сервере – при необходимости включите использование протокола TLS;
Включение/отключение распаковки тела запроса – опция, которая включает распаковку тела запроса. Ожидается, что тело запроса упаковано в архив;
Уровень логирования – выберите уровень журналирования модуля;
Путь до TLS сертификата – укажите путь для файла сертификата, используемого при включенном TLS соединении;
Путь до файла ключа – укажите путь для файла ключей, используемых при включенном TLS соединении;
Пароль к сертификату – укажите пароль к TLS сертификату;
Путь до файла корневого сертификата – укажите путь до корневого сертификата;
Требуется клиентский сертификат – при необходимости включите необходимость использования клиентского сертификата для подключения к серверу;
Максимальное число подключений – укажите лимит соединений с сервером;
Формат сохранения событий – выберите формат сохранения событий.

Модуль udp_input

Описание: Приём UDP трафика.

Поддержка OC: Windows, Linux.

Поддержка фильтрации: есть.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

Адрес для прослушивания сетевого интерфейса – укажите адрес сервера;
Порт для прослушивания – укажите порт сервера;
Размер буфера сообщений – укажите размер буфера сообщений. Значение указывается в байтах;
Уровень логирования – выберите уровень журналирования модуля;
Формат сохранения событий – выберите формат сохранения событий;
Число воркеров – укажите количество воркеров, которое будет задействовано для обработки событий;
Время накопления пакета событий (в миллисекундах) – укажите интервал формирования пакета событий.

Модуль wmi_input

Описание: Cбор событий через механизм WMI.

Поддержка OC: Windows.

Поддержка фильтрации: нет.

Поддержка настройки кодировки: есть.

Поддержка вывода в файл: есть.

Пример формы настройки модуля:

Параметры модуля:

Адреc для подключения – укажите адрес удаленного сервера;
Имя пользователя – укажите имя пользователя для удаленного подключения;
Пароль для авторизации на удаленной системе – укажите пароль пользователя;
Имена журналов для сбора – из выпадающего списка выберите один или несколько каналов, из которых нужно собирать события. Поле указывается в случае, если не указано поле Путь до файла журнала. Возможные значения:
- Application;
- Microsoft-Windows-PowerShell/Operational;
- Security;
- System.
Размер запроса – укажите количество событий, загружаемых за один запрос;
Интервал между запуском запроса в секундах – укажите интервал, через который файл (или канал) проверяется на наличие новых записей лога;
Собирать события начиная с заданного момента – укажите дату и время, с которого необходимо начать собирать события;
Переключатель сохранения позиции, при начале чтения – при необходимости включите опцию, которая позволяет продолжить чтение журнала с последней сохраненной позиции после перезапуска;
Уровень логирования – выберите уровень журналирования модуля;
Читать только новые события – при необходимости включите опцию, которая позволяет забирать из журнала только новые события;
Настройки фильтрации (исключения) событий – укажите регулярные выражения для настройки фильтрации (исключения) событий.

Просмотр профиля сбора

Открыть профиль сбора на просмотр можно двумя способами:

нажмите кнопку в строке нужного профиля сбора;
нажмите по ссылке в колонке "Название".

Откроется форма просмотра агента сбора. Поля формы формируются в зависимости от выбранного модуля сбора.

На форме просмотра профиля сбора доступно три общих блока: Статистика, Полученные события и Отправленные события (см. рисунок 12).

Рисунок 12 – Форма "Просмотр профиля сбора". Общие блоки

В общих блоках отображается следующая информация:

Блок Статистика содержит сводную информацию о потоке событий, собранных профилем:
- Общее количество полученных событий;
- Общее количество отправленных событий;
- Общее количество отброшенных событий;
- Дата получения последнего события;
- Дата отправки последнего события;
- Статус профиля сбора;
- Статус подключения к источнику.
Блок Статистика полученных событий – содержит графическое представление количества полученных событий от источников за период времени;
Блок Статистика отправленных событий – содержит графическое представление количества отправленных событий в сервис Log-proxy за период времени.

Редактирование профиля сбора

Открыть профиль сбора на редактирование можно следующими способами:

Перейдите в раздел Источники → Профили сбора и нажмите кнопку в строке нужного профиля сбора.
Перейдите на форму просмотра профиля сбора и нажмите кнопку Редактировать.

Внесите необходимые изменения и нажмите кнопку Сохранить.

Работа профиля сбора по расписанию

Для профиля сбора можно настроить расписание работы.

Формы просмотра и редактирования профиля разделены на вкладки Настройки и Расписание.

На вкладке Расписание можно включить работу профиля по расписанию и задать временные интервалы его работы для необходимых дней недели.

Для настройки расписания:

Откройте профиль сбора на редактирование.
Перейдите на вкладку Расписание.
Включите параметр Включить работу по расписанию.
Задайте временные интервалы работы профиля для необходимых дней недели.
Нажмите кнопку Сохранить.
Опубликуйте изменения на агенте сбора, чтобы они вступили в силу.

Экспорт профилей сбора

Для массового экспорта профилей сбора установите нужные флаги и нажмите кнопку Экспортировать. Будет сформирован архив с профилями в формате .zip.

Для экспорта всех профилей сбора нажмите кнопку Экспортировать все.

Импорт профилей сбора

Нажмите кнопку Импортировать.
В открывшемся окне укажите путь к архиву с профилями сбора.
Нажмите кнопку Открыть.
Чтобы все изменения вступили в силу нажмите кнопку Синхронизировать.

Удаление профилей сбора

Для удаления профиля сбора нажмите кнопку в соответствующей строке.

Для массового удаления профилей сбора установите нужные флаги и нажмите кнопку Удалить.

Для удаление всех профилей сбора нажмите кнопку Удалить все.

Чтобы все изменения вступили в силу перейдите в раздел Источники → Агенты сбора, выберите агенты сбора, на которых были выполнены изменения и нажмите кнопку Опубликовать.