Перейти к содержанию

Настройка конфигурации для повышения производительности

После установки платформы необходимо выполнить настройку конфигурации платформы для оптимальной обработки событий. Настройка включает в себя:

  • Настройка параметров OpenSearch;
  • Настройка оптимального кол-ва Workers для сервиса Beaver;
  • Настройка оптимального кол-ва обработчиков для сервиса Termit.

Настройка параметров OpenSearch

Настройка параметров OpenSearch выполняется в разделе Администрирование → Управление конфигурацией → Управление хранилищем. Подробнее см. раздел Управление хранилищем.

Для настройки сжатия данных индексов выполните следующие действия:

  1. Перейдите в раздел Администрирование → Управление конфигурацией → Параметры сервисов.

  2. В блоке IndexSettings найдите параметр Метод сжатия данных полей индекса хранящихся на диске (Opensearch.IndexSettings.Codec).

    Рисунок 3 – Настройка метода сжатия данных OpenSearch

  3. Выберите метод сжатия данных:

    • default – используется метод сжатия по умолчанию;
    • best_compression – обеспечивает более высокую степень сжатия и позволяет уменьшить объем дискового пространства, занимаемого индексами;
    • lz4 – метод сжатия, ориентированный на высокую скорость обработки данных;
    • zlib – метод с более высокой степенью сжатия данных.

    Для уменьшения объема дискового пространства, занимаемого индексами, выберите best_compression.

    Примечание: Более высокая степень сжатия может увеличить нагрузку на процессор и время выполнения операций индексирования и поиска.

  4. Нажмите кнопку Сохранить.

  5. Нажмите кнопку Записать конфигурацию.

Настройка оптимального кол-ва обработчиков (workers) для сервиса Beaver

Сервис Beaver отвечает за балансировку приходящего потока событий из сервиса Kafka и направляет их в базу данных OpenSearch.

Обработчики (workers) отвечают за работу читателей и писателей.

Читатели - это компоненты платформы, которые получают сообщения из топиков сервиса Kafka. Кол-во читателей должно быть равно количеству установленных сервисов Termit. Если сервис установлен на узле с ролью MASTER и еще на одном узле, то кол-во читателей должно быть равно 2 (двум).

Писатели - это компоненты платформы, которые забирают события и индексируют их в сервисе OpenSearch. Кол-во писателей не может быть больше 8 на одного читателя.

Чем больше кол-во писателей, тем выше быстродействие платформы.

Для настройки сервиса Beaver выполните следующие действия:

  1. Перейдите в раздел Администрирование → Управление конфигурацией → вкладка Параметры сервисов (см. рисунок 4)

    Рисунок 4 – Настройка Beaver. Блок Workers

  2. В древовидным списке параметров сервисов выберите Beaver → Workers.

  3. В полях Количество читателей... укажите кол-во читателей, которое соответствует кол-ву установленных сервисов Termit.
  4. В полях Количество писателей... укажите кол-во писателей. Рекомендуется указать наибольшее допустимое значение писателей для читателей. Например, если читатель1, то укажите 8 писателей, а если читателей 2, то укажите 16 писателей и т.д.
  5. Нажмите кнопку Сохранить.
  6. Нажмите кнопку Записать конфигурацию.

Настройка оптимального кол-ва обработчиков (workers) для сервиса Termit

Сервис Termit отвечает за процедуру разбора и нормализации событий.

Кол-во обработчиков (workers) влияет на скорость выполнения процедуры разбора и нормализации. Чем больше обработчиков, тем выше скорость, но и нагрузка на CPU.

Если была выполнена установка на один сервер, то максимальное кол-во обработчиков для сервиса Termit не может превышать 1/2 от кол-ва ядер процессора.

Если сервис Termit установлен на отдельный узел, то кол-во обработчиков должно быть кратно двум и не быть равно максимальному кол-ву ядер. Например, если на машину выделено 16 ядер CPU, то обработчиков может быть не больше 14.

Для настройки сервиса Termit выполните следующие действия:

  1. Перейдите в раздел Администрирование → Управление конфигурацией → вкладка Параметры сервисов (см. рисунок 5).

    Рисунок 5 – Настройка Termit

  2. В древовидным списке параметров сервисов выберите Termit.

  3. В поле Кол-во обработчиков укажите оптимальное кол-во обработчиков, в зависимости от конфигурации.
  4. Нажмите кнопку Сохранить.
  5. Нажмите кнопку Записать конфигурацию.