Перейти к содержанию

Стек журналирования

Сбор журналов осуществляется с помощью комплекта ПО td-agent + elasticsearch + Kibana. На контроллере находится центральный сервис elasticsearch, который собирает журналы с сервисов td-agent с каждого узла. Сервис td-agent в свою очередь собирает журналы CLI, супервизора узла, Web-сервиса узла, супервизора контроллера, Web-сервиса контроллера, системные журналы. Kibana служит для удобного просмотра в одном месте всех журналов всех узлов. Подробности смотрите в Syslog.

Команды CLI для работы с сервисами

Для проверки статуса сервисов в CLI есть команды:

  • Проверка статуса elasticsearch на контроллере выполняется командой CLI services list.

  • Проверка статуса td-agent на узле выполняется командой CLI services list.

  • Отдельно в Web-интерфейсе выведена кнопка редиректа (перенаправления) на сервис Kibana, находящийся на контроллере. По умолчанию сервис выключен, а включить (выключить) его можно из CLI командой kibana start|stop. Kibana позволяет удобно просматривать и фильтровать все журналы системы. Подробности настройки и фильтрации смотрите на официальном сайте Kibana.

Каталог хранения журналов на контроллере

/var/log/elasticsearch-data/

Управление временем хранения журналов узлов на контроллере

Выполняется на контроллере командой CLI system logging [get_days2keep|set_days2keep].

Базовое значение - 30 дней.

image
Пример управления временем (видно, что было 30 дней и изменилось на 7).

Расчет размера каталога журналов узлов на контроллере

1 вычислительный узел (ВУ) за 1 день при штатной работе условно займет 200 Мбайт.

Пример расчета

Для 20 ВУ с временем хранения 7 дней каталог будет занимать примерно 28 Гбайт.

Пример расчета

Для 5 ВУ с временем хранения 30 дней каталог будет занимать примерно 30 Гбайт.

Пример расчета

Для 30 ВУ с временем хранения 30 дней каталог будет занимать примерно 180 Гбайт.

Итого примерный размер каталога равен

200 Мбайт * количество ВУ * количество дней.

Очистка журналов elasticsearch

  • Очистка журналов elasticsearch на контроллере выполняются командой CLI system logging clear.