Перейти к содержанию

Настройка конфигурации для повышения производительности

После установки платформы необходимо выполнить настройку конфигурации платформы для оптимальной обработки событий. Настройка включает в себя:

  • Настройка компрессии в сервисе OpenSearch;
  • Настройка оптимального кол-ва Workers для сервиса Beaver;
  • Настройка оптимального кол-ва обработчиков для сервиса Termit.

Настройка компрессии в сервисе OpenSearch

Сервис OpenSearch отвечает за хранение и поиск обработанных событий

Компрессия используется для сжатия данных в сервисе OpenSearch, что позволяет хранить больший объем событий, но при этом будет повышена нагрузка на CPU.

Перейдите в директорию:

/opt/pangeoradar/support_tools/opensearch

Выполните скрипт конфигурации:

# ./os_config.sh

Откроются параметры OpenSearch.

Проверьте IP-адрес и порт сервиса и нажмите Ок (см. рисунок 1).

Рисунок 1 – Настройка OpenSearch. Шаг 1

Проверьте конфигурацию кластера и нажмите Ок (см. рисунок 2).

Рисунок 2 – Настройка OpenSearch. Шаг 2

Дойдите до шага Other options (см. рисунок 3).

Рисунок 3 – Настройка OpenSearch. Шаг "Other options"

Для включения компрессии OpenSearch установите флаг best_compression и нажмите Ок.

Настройка оптимального кол-ва обработчиков (workers) для сервиса Beaver

Сервис Beaver отвечает за балансировку приходящего потока событий из сервиса Kafka и направляет их в базу данных OpenSearch.

Обработчики (workers) отвечают за работу читателей и писателей.

Читатели - это компоненты платформы, которые получают сообщения из топиков сервиса Kafka. Кол-во читателей должно быть равно количеству установленных сервисов Termit. Если сервис установлен на узле с ролью MASTER и еще на одном узле, то кол-во читателей должно быть равно 2 (двум).

Писатели - это компоненты платформы, которые забирают события и индексируют их в сервисе OpenSearch. Кол-во писателей не может быть больше 8 на одного читателя.

Чем больше кол-во писателей, тем выше быстродействие платформы.

Для настройки сервиса Beaver выполните следующие действия:

  1. Перейдите в раздел Администрирование → Управление конфигурацией → вкладка Параметры сервисов (см. рисунок 4)

    Рисунок 4 – Настройка Beaver. Блок Workers

  2. В древовидным списке параметров сервисов выберите Beaver → Workers.

  3. В полях Количество читателей... укажите кол-во читателей, которое соответствует кол-ву установленных сервисов Termit.
  4. В полях Количество писателей... укажите кол-во писателей. Рекомендуется указать наибольшее допустимое значение писателей для читателей. Например, если читатель1, то укажите 8 писателей, а если читателей 2, то укажите 16 писателей и т.д.
  5. Нажмите кнопку Сохранить.
  6. Нажмите кнопку Записать конфигурацию.

Настройка оптимального кол-ва обработчиков (workers) для сервиса Termit

Сервис Termit отвечает за процедуру разбора и нормализации событий.

Кол-во обработчиков (workers) влияет на скорость выполнения процедуры разбора и нормализации. Чем больше обработчиков, тем выше скорость, но и нагрузка на CPU.

Если была выполнена установка на один сервер, то максимальное кол-во обработчиков для сервиса Termit не может превышать 1/2 от кол-ва ядер процессора.

Если сервис Termit установлен на отдельный узел, то кол-во обработчиков должно быть кратно двум и не быть равно максимальному кол-ву ядер. Например, если на машину выделено 16 ядер CPU, то обработчиков может быть не больше 14.

Для настройки сервиса Termit выполните следующие действия:

  1. Перейдите в раздел Администрирование → Управление конфигурацией → вкладка Параметры сервисов (см. рисунок 5).

    Рисунок 5 – Настройка Termit

  2. В древовидным списке параметров сервисов выберите Termit.

  3. В поле Кол-во обработчиков укажите оптимальное кол-во обработчиков, в зависимости от конфигурации.
  4. Нажмите кнопку Сохранить.
  5. Нажмите кнопку Записать конфигурацию.