Установка лог-коллектора

Системные требования

Работа лог-коллектора возможна на следующих ОС:

Windows Vista, Windows 10, Windows 11;
Windows Server 2008, Windows Server 2011, Windows Server 2016, Windows Server 2019, Windows Server 2022;
Linux Debian;
Linux CentOS;
Linux RedHat.

Варианты конфигурации оборудования приведены в таблице:

	CPU (cores)	RAM	HDD (GB)
Минимальные аппаратные требования	4	4	50
Требования при установке с Windows Event Collector	4	8	500

На приведенных выше минимальных требованиях к ресурсам, лог-коллектор обеспечивает обработку потока 5000 событий в секунду.

ОС Windows

В настоящем разделе подробно описана процедура установки и обновления лог-коллектора на ОС Windows.

Установка

Внимание! Установка лог-коллектора осуществляется под учетной записью с правами администратора.

Перед началом установки необходимо получить msi-пакет, который находится в каталоге /opt/pangeoradar/repository/pangeoradar-logcollector/.

Для запуска процесса установки запустите полученный файл. Откроется мастер установки лог-коллектора (см. рисунок 1).

Рисунок 1 – Запуск установки

Для перехода к началу установки нажмите кнопку Next.

Шаг 1. Путь установки

Укажите каталог, в который необходимо установить лог-коллектор (см. рисунок 2).

Рисунок 2 – Путь установки программы

Для перехода к следующему шагу нажмите кнопку Next.

Шаг 2. Конфигурация подключения к платформе

Укажите параметры для подключения лог-коллектора к платформе (см. рисунок 3).

Рисунок 3 – Параметры подключения к платформе

Если установка лог-коллектора уже выполнялась, то на данном шаге будет отображена прошлая конфигурация.

Для изменения конфигурации установите флаг Update config и укажите следующие данные:

в поле Master node IP укажите IP-адрес платформы или IP-адрес узла на котором развернута роль master;
в поле Master node API key укажите ваш ключ API, который можно получить в настройках кластера Платформы Радар;
в поле Log-collector API IP укажите IP-адрес сетевого интерфейса, который будет использоваться лог-коллектором.

Для перехода к следующему шагу нажмите кнопку Next.

Шаг 3. Завершение установки

Нажмите кнопку Install (см. рисунок 4).

Рисунок 4 – Установка платформы

Начнется процесс установки лог-коллектора (см. рисунок 5).

Рисунок 5 – Процесс установки

По завершению процесса установки нажмите кнопку Finish (см. рисунок 6).

Рисунок 6 – Завершение установки

Шаг 4. Установка сертификата для API взаимодействия

Для корректной работы API взаимодействия лог-коллектора с платформой, необходимо добавить сертификат платформы pgr.srt в доверенные сертификаты для учетной записи компьютера, на котором установлен лог-коллектор:

Получите сертификат pgr.srt по следующему пути: /opt/pangeoradar/certs.
Поместите его на нужный компьютер, вызовите контекстное меню и выберите пункт Установить сертификат.
Следуя инструкциям мастера импорта сертификатов, добавьте сертификат в доверенные (см. рисунок 7).

Рисунок 7 – Импорт сертификата

Шаг 5. Запуск и Остановка лог-коллектора

Через службы (см. рисунок 8):

Запустите приложение Службы/Services.
Найдите в списке службу лог-коллектора Pangeo Radar Log Collector Service.
Нажмите кнопку Запустить/Start для запуска лог-коллектора или Остановить/Stop для остановки.

Рисунок 8 – Запуск/Остановка службы лог-коллектора

Через терминал:

Запустите терминал/командную строку.
Перейдите в каталог с установленным лог-коллектором:
```
# cd C:\Program Files\Log Collector
```
Для запуска лог-коллектора укажите следующую команду:
```
# main-windows-amd64.exe ctrl
```
Для остановки работы лог-коллектора используйте сочетание клавиш ctrl-c.

Шаг 6. Проверка работы лог-коллектора

Для стабильной работы лог-коллетора необходимо чтобы были заполнены как минимум следующие поля в файле конфигурации:

url (секция cluster) – адрес API для подключения к Платформе;
api_key (секция cluster) – ключ API, сгенерированный в настройках кластера Платформы Радар;
address (секция api_server) – адрес сетевого интерфейса, используемого лог-коллектором.

Примечание: Путь до файла конфигурации Windows по умолчанию - ProgramFiles\Log Collector\config.yaml

Пример конфигурации


cluster:
  url: "https://172.30.254.79:9000/cm/api/agent/"
  api_key: "57dbc2b0-41e8-0f55-95d8-1c19c2e44347"
  skip_verify: true
controller:
  port: 48000
metric_server:
  port: 48005
secret_file: "C:/Program Files/Log Collector/secret"
secret_storage: "C:/Program Files/Log Collector/secret_storage"
api_server:
  address: "172.30.254.52"
  port: 8085
  read_timeout: 60
  write_timeout: 60
  wait: 5
  enable_tls: true
  cert_file: "C:/Program Files/Log Collector/agent.crt"
  key_file: "C:/Program Files/Log Collector/agent.key"
  cert_key_pass: ""
  log_level: "WARN"
journal:
  port: 48004
  log_level: "INFO"
  log_path: "C:/Program Files/Log Collector/journal.log"
  rotation_size: 30
  max_backups: 7
  max_age: 7
out_file: &out_file
  id: "out_file"
  file: "C:/Program Files/Log Collector/ouput_file.txt"
  rotation_size: 10
udp_input: &udp_input
  id: "udp_input"
  host: "127.0.0.1"
  port: 514
  sock_buf_size: 0
  format: "json"
senders:
  port: 48002
  out_file:
    - <<: *out_file
collectors:
  udp_receiver:
    - <<: *udp_input
route_1: &route_1
  collector_id:
    - "udp_input"
  sender_id:
    - "out_file"
routers:
  - <<: *route_1

При необходимости проверьте файлы logcollector.crash.log и service.log в директории с программой, для отслеживания ошибок работы лог-коллектора.

При наличии включенного локального брандмауэра необходимо открыть порты для межсетевого взаимодействия.

При первом подключении коллектора к платформе в разделе Администрирование → Кластер → вкладка Узлы появится узел с Windows-коллектором, которому будет присвоена роль agent. Данному узлу необходимо добавить роль agent_win (см. раздел Добавление роли).

Выполните настройку лог-коллектора на прием и отправку событий (см. раздел Настройка лог-коллектора).

Переустановка и Обновление

Перед переустановкой или обновлением лог-коллектора выполните следующие действия:

в случае обновления лог-коллектора, получите msi-пакет с обновленной версией лог-коллектора у службы технического сопровождения по электронному адресу support@pangeoradar.ru;
в случае переустановки лог-коллектора, получите msi-пакет, который находится в каталоге /opt/pangeoradar/repository/pangeoradar-logcollector/;
сделайте резервную копию конфигурационного файла лог-коллектора (config.yaml);
удалите установленную версию лог-коллектора через механизм ОС Windows Установка и удаление программ → Удалить.

Запустите полученный msi-пакет и следуйте инструкциям мастера установка. Действия будут аналогичны шагу 1 – шагу 3 установки.

Сравните конфигурационный файл лог-коллектора после обновления с сохраненным файлом от прошлой конфигурации:

проверьте пути к файлам сертификатов и лицензии: secret_file, secret_storage, license_path, cert_file, key_file, ca_file, log_path;
проверьте настройки сбора и отправки событий;
при необходимости внесите соответствующие изменения (подробнее см. раздел Настройка лог-коллектора);
при необходимости вы можете заменить новый файл конфигурации на файл от прошлой конфигурации.

Для устранения проблем, возникших в ходе установки лог-коллектора воспользуйтесь функцией восстановления целостности файлов. Для этого воспользуйтесь функцией Установка и удаление программ → Изменить. Откроется мастер установки лог-коллектора (см. рисунок 9).

Рисунок 9 – Обновление/переустановка лог-коллектора

Нажмите кнопку Repair. Начнется процесс восстановления (см. рисунок 10).

Рисунок 10 – Восстановление целостности файлов лог-коллектора

ОС Linux

В настоящем разделе подробно описана процедура установки и обновления лог-коллектора на ОС Linux.

Автоматическая установка

Во время установки Платформы Радар на один сервер, лог-коллектор автоматически устанавливается на платформу и подключается по защищенному протоколу.

Во время распределенной установки, лог-коллектор автоматически устанавливается на узле с ролью agent.

Для проверки установки лог-коллектора в веб интерфейсе платформы перейдите в раздел Администрирование → Кластер → вкладка Узлы и удостоверьтесь что сервис logcollector работает в штатном режиме (индикатор – ).

Для установки лог-коллектора на выделенный узел выполните следующие действия:

Добавьте узел со следующими параметрами:
- в поле Название укажите наименование узла;
- в полях Логин и Пароль укажите данные для подключения привилегированного пользователя root к узлу;
- в полях IP и Порт укажите IP-адрес и порт подключения к узлу, на котором будет установлен лог-коллектор.
Начнётся процесс добавления узла в кластер с установкой и настройкой необходимых компонентов.
После успешного добавления узла ему необходимо добавить роль agent. После добавления роли на форме просмотра узла появятся следующие блоки для управления параметрами лог-коллектора: Управление агентом, Секреты агента, Конфигурация агента (см. рисунок 11).

Рисунок 11 – Форма просмотра узла. Блоки управления агентом
На форме просмотра узла с ролью agent в блоке Конфигурация агента нажмите кнопку Загрузить конфигурацию. Откроется конфигурационный файл лог-коллектора (см. рисунок 12).

Рисунок 12 – Окно "Редактирование конфигурации"
При необходимости внесите в конфигурационный файл лог-коллектора следующие изменения:
- Секция cluster:
  - в поле url укажите IP-адрес или FQDN узла с ролью master;
  - в поле api_key укажите ключ API, сгенерированный в настройках кластера Платформы Радар;
- Секция api_server:
  - в поле address укажите IP-адрес узла, на котором установлен лог-коллектор
- Выполните настройку конфигурационного файла лог-коллектора на прием и отправку событий (см. раздел Настройка лог-коллектора).
На узле лог-коллектора выполните команду для разрешения взаимодействия по порту API (например 8080):
```
ufw allow 8080
```
Этой же командой выполнить открытие портов, необходимых для приема событий на лог-коллекторе.
Проверить журнал на предмет наличия или отсутствия ошибок. Для этого на форме просмотра узла с ролью agent в блоке Конфигурация агента нажмите кнопку Показать логи. Откроется окно Просмотр логов (см. рисунок 13).

Рисунок 13 – Окно "Просмотр логов"

Проверить наличие сертификата pgr.crt для API-взаимодействия в каталоге /opt/pangeoradar/certs/. Если сертификат отсутствует, то выполните следующие действия:

при необходимости создайте каталог для хранения сертификата:
```
# mkdir -p /opt/pangeoradar/certs/
```

получите сертификат для доступа к узлу с ролью MASTER:

# echo | openssl s_client -servername <ip/fqdn адрес узла с ролью мастер> -connect <ip/fqdn адрес узла с ролью мастер>:443 | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' > /opt/pangeoradar/certs/pgr.crt

выполните установку сертификата:

# mkdir -p /usr/local/share/ca-certificates/pangeoradar
# cp /opt/pangeoradar/certs/pgr.crt /usr/local/share/ca-certificates/pangeoradar/
# chmod 755 /usr/local/share/ca-certificates/pangeoradar
# chmod 644 /usr/local/share/ca-certificates/pangeoradar/pgr.crt
# update-ca-certificates

Для стабильной работы лог-коллетора необходимо чтобы были заполнены как минимум следующие поля в файле конфигурации:
- url (секция cluster) – адрес API для подключения к Платформе;
- api_key (секция cluster) – ключ API, сгенерированный в настройках кластера Платформы Радар;
- address (секция api_server) – адрес сетевого интерфейса, используемого лог-коллектором;
- ca_file (секция api_server) – путь до корневого сертификата, например /opt/pangeoradar/certs/pgr.crt.
При наличии включенного локального файрволла откройте порты для межсетевого взаимодействия.

Ручная установка, обновление и переустановка

Внимание! Все действия в разделе осуществляются под учетной записью с правами администратора.

По умолчанию лог-коллектор обновляется автоматически с обновлением платформы.

Перед ручной установкой, обновлением или переустановкой лог-коллектора выполните следующие действия:

получите deb-пакет для Linux с нужной версией лог-коллектора у службы технического сопровождения по электронному адресу support@pangeoradar.ru. Например, log-collector_amd64_<номер версии>.deb;
сделайте резервную копию конфигурационного файла лог-коллектора (config.yaml).

Выполните следующие действия:

Посмотрите название установленного пакета лог-коллектора:
```
# dpkg -s | grep pangeoradar-logcollector
```
Проверьте запущен ли сервис лог-коллектора:
```
# systemctl status pangeoradar-logcollector.service
```
Если сервис имеет статуc active (running), то остановите сервис:
```
# systemctl stop pangeoradar-logcollector.service
```
Удалите предыдущую версию лог-коллектора:
```
# dpkg -r <название установленного пакета лог-коллектора>
```
При выполнении команды у вас запросит подтверждение выполняемой операции, внимательно ознакомьтесь с данным сообщением.

Если все указано верно, введите Y.
Проверьте удаление пакета:
```
# dpkg -s | grep pangeoradar-l
```

Установите новый пакет лог-коллектора:

# dpkg -i <наименование нового пакета лог-коллектора>.deb

После установки перенесите скопированный ранее конфигурационный файл config.yaml по следующему пути: /opt/pangeoradar/configs/logcollector/.
Выполните перезагрузку сервиса лог-коллектора:
```
# systemctl restart pangeoradar-logcollector.service
```
Для проверки правильности установки пакета и правильности работы сервиса выполните следующие команды:
```
# dpkg -s pangeoradar-log-collector
# systemctl status pangeoradar-logcollector.service
```

Межсетевое взаимодействие

В таблице ниже представлено межсетевое взаимодействие лог-коллектора с платформой и источниками.

Таблица 1 – Межсетевое взаимодействие лог-коллектора с платформой и источниками

№	Адрес источника	Адрес назначения	Порт	Примечание
1	IP-адрес лог-коллектора	IP-адрес узла с ролью MASTER	9009/tcp	Взаимодействие с Мастером.
2	IP-адрес узла с ролью MASTER	IP-адрес лог-коллектора	8085/tcp, 22/tcp (Linux-версия), 6677/tcp (Linux-версия), 9100/tcp (Linux-версия)	Управление коллектором с мастера и сбор статистики
3	Источники событий	IP-адрес лог-коллектора	1500-5000/tcp, 500-5000/udp	Пассивный сбор событий
4	IP-адрес лог-коллектора	Источники событий	22/tcp 135/tcp, 135/udp, 445/tcp 1433/tcp, Динамический диапазон портов Microsoft RPC (49152-65535/tcp)	Активный сбор событий
5	IP-адрес АРМа администратора	IP-адрес лог-коллектора	22/tcp (Linux-версия), 3389/tcp (Windows-версия), 3389/udp (Windows-версия)	Администрирование
6	IP-адрес лог-коллектора	IP-адрес Log-proxy	1100/tcp 1100/udp	Отправка событий в сервис Kafka

Включение API взаимодействия

Сгенерируйте сертификат agent.crt для узла с ролью AGENT:

# openssl req -newkey rsa:4096 -nodes -keyout agent.key -x509 -days 365 -out agent.crt -addext 'subjectAltName=IP:<log-collector's ip>' -subj '/C=RU/ST=RU/L=<location>/O=<organization>/OU=<department>/CN=<log-collector's ip>/'

Где:

log-collector's ip – IP-адресс лог-коллектора;
location – расположение (например: Moscow);
organization – наименование организации;
department – наименование подразделения.

Проверьте сгенерированный сертификат:

# openssl x509 -in agent.crt -text

Пример выполнения команды

Добавьте сертификат на узел с ролью AGENT или AGENT WIN:

Скопируйте тело сертификата.
В веб интерфейсе платформы перейдите в раздел Администрирование → Кластер → вкладка Учетные записи для сбора данных.
Добавьте учетную запись для сбора данных с типом авторизации Сертификат, в поле Сертификат укажите скопированное тело сертификата и в поле Транспорты добавьте протоколы wmi, rpc, ssh (см. рисунок 14).

Рисунок 14 – Добавление учетной записи для сбора данных
Перейдите в раздел Администрирование → Кластер → вкладка Узлы системы.
Откройте форму просмотра узла с ролью AGENT или AGENT WIN и перейдите к блоку Управление агентом (см. рисунок 15).

Рисунок 15 – Форма просмотра узла. Блок "Управление агентом"
В блоке Управление агентом выполните следующие действия:
- в поле Учетная запись для подключения из выпадающего списка выберите учетную запись для сбора данных;
- в поле Сборщики и отправители при необходимости запустите компоненты сбора и отправки событий.
  
  Примечание: перед запуском, соответствующие компоненты сбора и отправки событий должны быть настроены в конфигурационном файле лог-коллектора.
- нажмите кнопку Перезапустить.