Агенты сбора

Работа с агентами сбора включает в себя следующие процессы:

1. Просмотр информации об агенте сбора.
2. Настройка агента сбора.
3. Публикация изменений.
4. Изменение состояния профиля сбора.

Для работы с агентами сбора перейдите в раздел Источники → Агенты сбора (см. рисунок 1).

Рисунок 1 – Раздел "Агенты сбора"

В разделе отображается следующая информация:

• Название – наименование агента сбора;
• Версия – версия агента сбора установленного на узле;
• Имя узла – наименование узла, на котором установлен агент сбора;
• IP узла – IP-адрес узла, на котором установлен агент сбора.

При работе над агентами сбора доступны следующие элементы управления:

Кнопка	Действие
	просмотр агента сбора
	настройка агента сбора

Просмотр агента сбора

Открыть агент сбора на просмотр можно двумя способами:

• нажмите кнопку в строке нужного агента сбора;
• нажмите по ссылке в графе "Название".

Откроется форма просмотра агента сбора (см. рисунок 2).

Рисунок 2 – Форма "Просмотр агента сбора"

На форме отображается следующая информация:

• Блок Основное – содержит следующую информацию:

  • Наименование агента сбора;
  • ID – идентификатор агента сбора;
  • Версия – версия лог-коллектора установленного на узле;
  • Имя узла – наименование узла, на котором установлен агент сбора лог-коллектора;
  • IP узла – IP-адрес узла, на котором установлен лог-коллектор.

• Блок Профили сбора – содержит информация о профилях сбора, настроенных для данного агента сбора:

  • Название – наименование профиля сбора;
  • Тип модуля – тип модуля сбора, по которому работает профиль сбора;
  • Источник – наименование источника, для которого настроен профиль сбора;
  • Агент сбора – наименование агента сбора, на котором установлен профиль сбора;
  • Активен – состояние профиля сбора;
  • Дата публикации – дата и время публикации информации о профиле сбора в платформе;
  • Дата создания – дата и время создания профиля сбора;
  • Дата обновления – дата и время изменения информации о профиле сбора.

• Блок Статистика полученных событий – содержит графическое представление количества полученных событий от источников за период времени по каждому профилю сбора;

• Блок Статистика отправленных событий – содержит графическое представление количества отправленных событий в сервис Log-proxy за период времени по каждому профилю сбора.

Настройка агента сбора

Для настройки агента сбора необходимо открыть его на редактирование, внести необходимые изменения и нажать кнопку Сохранить.

Открыть агент сбора на редактирование можно следующими способами:

• Перейдите в раздел Источники → Агенты сбора и нажмите кнопку в строке нужного агента сбора.
• Перейдите на форму просмотра агента сбора (см. рисунок 2) и нажмите кнопку Редактировать.

Настройка агента сбора выполняется в следующих блоках:

• Настройки контроллера – управление общими параметрами и настройка поведения лог коллектора при достижении предела занятого места на диске;
• Настройки api_server – настройка удаленного управления лог-коллектором;
• Настройки metric_server – настройка параметров сбора статистики по работе лог-коллектора;
• Настройки журнала – настройка журналирования работы лог-коллектора.

Настройки контроллера

Контроллер отвечает за управление секретами лог-коллектора и отслеживает потребляемую нагрузку на систему.

Пример блока Настройки контроллера приведен на рисунке 3.

Рисунок 3 – Настройка агента сбора. Блок "Настройки контроллера"

Укажите в блоке информацию о контроллере:

• Порт контроллера ЛК – порт контроллера лог-коллектора. Параметр нельзя изменить;
• Порт модуля приемки – порт модуля, на который приходят события от источника. Параметр нельзя изменить;
• Порт модуля отправки – порт модуля, с которого выполняется отправка событий в платформу. Параметр нельзя изменить;
• Путь до secret_file – укажите путь до файла с секретами. Подробнее о секретах см. раздел Секреты;
• Путь до secret_storage – укажите путь до хранилища секретов;
• Верхний предел занятого места на диске (в процентах) – укажите значение занятого диска в "%", при достижении которого будет выполнена команда, указанная в поле Поведение при достижении верхнего предела. Значение по умолчанию: "95";
• Процент занятого места для восстановления работы – укажите значение занятого диска в "%", при достижении которого будет восстановлена работа агента сбора. Значение по умолчанию: "80";
• Интервал проверки места на диске (в секундах) – укажите интервал проверки места на диске (в секундах). Значение по умолчанию: "60";

• Поведение при достижении верхнего предела – из выпадающего списка выберите действие, которое необходимо выполнить при достижении предела занятого места на диске. Возможные действия:

  • turn_off – выключить агент сбора;
  • skip – включить пропуск событий, при котором агент сбора будет читать события, но не будет пересылать в платформу.

Особенности работы лог-коллектора при достижении предела места на диске:

• активный сбор – когда место заканчивается, лог-коллектор перестает собирать события, но продолжает их отправку в сервис Log-proxy, чтобы освободить место;
• пассивный сбор – если источник может продолжать работать в штатном режиме, а лог-коллектор не доступен, то рекомендуется остановить прием событий (turn_off), при этом лог-коллектор продолжит их отправку в сервис Log-proxy, чтобы освободить место;
• пассивный сбор – если источник не может нормально продолжать работать и лог-коллектор не доступен . В этом случае лог-коллектор будет пропускать события (skip), но продолжит их отправку в сервис Log-proxy, чтобы освободить место.

Также подобная логика будет работать и в следующих случаях:

• когда есть проблемы с сетью и лог-коллектор не доступен;
• когда применяются новые параметры конфигурации лог-коллектора, возможна ситуация, что профили сбора есть, а с агентом сбора еще нет соединения;
• восстановление связи с источником, когда на стороне источника большая очередь и она массово разгружается без ограничителей.

Настройки api_server

API Server отвечает за возможность удаленного управления агентом сбора.

Пример блока Настройки api_server приведены на рисунке 4.

Рисунок 4 – Настройка агента сбора. Блок "Настройки api_server"

Укажите в блоке информацию об API сервере:

• Адрес API сервера – укажите адрес сетевого интерфейса, используемого агентом сбора;
• Порт API сервера – порт, по которому выполняется API-взаимодействие. Параметр нельзя изменить;
• TimeOut чтения – укажите максимальное время ожидания получения запроса в секундах;
• TimeOut записи – укажите максимальное время ожидания отправки запроса в секундах;
• Ожидание (Wait) – укажите время ожидания окончания обработки запроса при получении сигнала на остановку приложения в секундах;
• Шифрование TLS – при необходимости включите опцию, которая позволяет включить использование протокола Transport Layer Security (TLS) для обеспечения безопасной передачи данных;
• Путь до файла сертификата – укажите путь до файла сертификата, используемого при TLS шифровании;
• Путь до файла ключа – укажите путь до файла ключей, используемых при TLS шифровании;
• Пароль к сертификату – пароль для расшифровки файла ключей. Если поле не задано, считается что файл не зашифрован;
• Требуется клиентский сертификат – при необходимости включите проверку клиентского сертификата;
• Путь до файла корневого сертификата – путь до корневого сертификата. Поле заполняется при включенной проверке клиентского сертификата;

• Уровень логирования – из выпадающего списка выберите уровень журналирования работы API сервера. Возможные значения:

  • ERROR – записывать сообщения об ошибках; 
  • WARN – записывать предупреждающие сообщения, которые указывают на потенциальные проблемы или ситуации, которые могут привести к ошибкам в будущем;
  • INFO – записывать информационные сообщения, которые сообщают о нормальном функционировании приложения;
  • DEBUG – записывать отладочную информацию;
  • TRACE – записывает всю информацию о работе сервиса;
  • ALL – записывать все сообщения.

Настройки metric_server

Metric_server осуществляет сбор статистики работы агентов сбора лог-коллектора.

Пример блока Настройки metric_server приведены на рисунке 5.

Рисунок 5 – Настройка агента сбора. Блок "Настройки metric_server"

В блоке отображается информация об используемом порте сервера, предоставляющим метрики лог-коллектора.

Просмотр метрик: Выполните следующие действия:

1. Перейдите в веб-интерфейс платформы через который может выполняться централизованное управление лог-коллектором.
2. Перейдите в раздел Администрирование → Мониторинг и из выпадающего списка выберите рабочий стол Лог коллектор.

Перечень виджетов приборной панели:

Метрика рус.	Метрика англ.	Назначение метрики	Визуализация
Состояние лог-коллектора	Log-collector status	Метрика показывает текущее состояние лог-коллектора
Размер использования диска	Disk: usage	Метрика показывает объём памяти, которая задействована лог-коллектором
Процент использования диска	Disk: usage	Метрика показывает процент памяти, используемой лог-коллектором
Потребление процессора компонентами	CPU consume by component	Метрика показывает процент нагрузки центрального процессора компонентами лог коллектора: - inputs_process_cpu_pct – процент нагрузки компонентами сбора событий - outputs_process_cpu_pct – процент нагрузки компонентами отправки событий - total consume – общее потребление всеми компонентами
Потребление памяти компонентами	Memory consume by component	Метрика показывает объем памяти потребляемый компонентами лог коллектора: - inputs_process_memory_megabytes – потребление памяти компонентами сбора - outputs_process_memory_megabytes –потребление памяти компонентам отправки событий - total consume – общее потребление
Модули сбора событий	Inputs modules	Метрика показывает изменение количества компонентов сбора с течением времени
Модули отправки событий	Out file (batches)	Метрика показывает изменение количества компонентов отправки с течением времени

Настройки журнала

Компонент отвечает за ведение журналов работы агента сбора. Поддерживаются следующие уровни журналирования:

• ERROR – записывать сообщения об ошибках; 
• WARN – записывать предупреждающие сообщения, которые указывают на потенциальные проблемы или ситуации, которые могут привести к ошибкам в будущем;
• INFO – записывать информационные сообщения, которые сообщают о нормальном функционировании приложения;
• DEBUG – записывать отладочную информацию;
• TRACE – записывает всю информацию о работе сервиса;
• ALL – записывать все сообщения.

Пример блока Настройки журнала приведены на рисунке 6.

Рисунок 6 – Настройка агента сбора. Блок "Настройки журналаr"

Укажите в блоке следующую информацию:

• Порт log_server – порт сервера журналирования. Параметр нельзя изменить;
• Уровень логирования – общий уровень журналирования для всех компонентов агента сбора;
• Путь до файла журнала – путь до файла журнала;
• Размер файла журнала – параметр, который определяет максимальный размер файла журнала в мегабайтах, при достижении которого будет выполнена ротация журналов;
• Количество файлов журнала – порог количества файлов журнала, при достижении которого будут удалены устаревшие файлы журнала. Если параметр не указан, то файлы удаляться не будут;
• Глубина хранения истории, дней – укажите максимальное количество дней для хранения старых файлов журнала. Отсчет ведется по метке времени создания файла журнала. Если параметр не указан файлы удаляться не будут.

Публикация изменений

Чтобы настройки агента сбора вступили в силу, их необходимо опубликовать в платформе.

Публикацию изменений можно выполнить следующими способами:

Способ 1:

1. Выберите агенты сбора, в которые были внесены изменения. Для этого установите соответствующие флаги.
2. Нажмите кнопку Опубликовать.

Способ 2:

1. Перейдите на форму просмотра агента сбора.
2. Нажмите кнопку Опубликовать.

Изменение состояния профиля сбора

Профиль сбора на выбранном агенте может находиться в следующих состояниях:

• Включен – по профилю сбора выполняется сбор событий от источника;
• Выключен – профиль сбор добавлен в платформу, но по нему не выполняется сбор событий.

Изменить состояние профиля сбора на агенте можно следующими способами:

Способ 1:

1. Откройте агент сбора на просмотр.
2. Перейдите к блоку Профили сбора.
3. В графе Активен измените состояние нужного профиля сбора, установив переключатель в соответствующее положение.

Способ 2:

1. Откройте агент сбора на просмотр.
2. Перейдите к блоку Профили сбора и выберите профили сбора, установив соответствующие флаги.
3. Используйте кнопку Включить/Выключить для изменения состояния выбранных профилей сбора

Способ 3:

1. Откройте агент сбора на просмотр и перейдите к блоку Профили сбора.
2. Откройте профиль сбора на просмотр, нажав по ссылке в графе Название или по кнопке в нужной строке.
3. На форме просмотра профиля сбора нажмите кнопку Редактировать.
4. В поле Активен установите переключатель в соответствующее положение.
5. Нажмите кнопку Сохранить.

Подробнее о работе с профилями сбора см. раздел Профили сбора.