Установка Grafana Loki Promtail stack на Almalinux 9

Пошаговая инструкция по установке и настройке Grafana Loki и Promtail Stack на AlmaLinux 9

Установка Loki

Процедура установки Loki из официального репозитория пакетов в Almalinux 9:

Настройка ключа Grafana GPG

wget -q -O gpg.key https://rpm.grafana.com/gpg.key
sudo rpm - import gpg.key

Из-за санкций может быть недоступно скачивание, содержимое ключа представлено внутри

Настройка репозитория Grafana /etc/yum.repos.d/grafana.repo

[grafana]
name=grafana
baseurl=https://rpm.grafana.com
repo_gpgcheck=1
enabled=1
gpgcheck=1
gpgkey=https://rpm.grafana.com/gpg.key
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
exclude=*beta*

Обновим метаданные локального репозитория метаданными пакета Grafana и установим пакет:

dnf update
dnf install loki

Редактируем файл конфигурации /etc/loki/config.yml

Grafana настроена на прослушивание порта 3100, а механизм хранения tsdb. В этом примере Grafana и Loki установлены на одном виртуальном хосте, тогда IP-адрес — 127.0.0.1, а имя хоста — localhost.

auth_enabled: false

server:
  http_listen_port: 3100
  grpc_listen_port: 9096

common:
  instance_addr: 127.0.0.1
  path_prefix: /tmp/loki
  storage:
    filesystem:
      chunks_directory: /tmp/loki/chunks
      rules_directory: /tmp/loki/rules
  replication_factor: 1
  ring:
    kvstore:
      store: inmemory

query_range:
  results_cache:
    cache:
      embedded_cache:
        enabled: true
        max_size_mb: 200

schema_config:
  configs:
    - from: 2020-10-24
      store: tsdb
      object_store: filesystem
      schema: v13
      index:
        prefix: index_
        period: 24h

ruler:
  alertmanager_url: http://localhost:9093

frontend:
  encoding: protobuf

# By default, Loki will send anonymous, but uniquely-identifiable usage and configuration
# analytics to Grafana Labs. These statistics are sent to https://stats.grafana.org/
#
# Statistics help us better understand how Loki is used, and they show us performance
# levels for most users. This helps us prioritize features and documentation.
# For more information on what's sent, look at
# https://github.com/grafana/loki/blob/main/pkg/analytics/stats.go
# Refer to the buildReport method to see what goes into a report.
#
# If you would like to disable reporting, uncomment the following lines:
#analytics:
#  reporting_enabled: false

reporting_enabled: false

Установка Grafana

Установим пакеты Grafana

dnf install grafana

Запустим и добавим в автозапуск

systemctl enable --now grafana-server
systemctl status grafana-server

Файл конфигурации Grafana — /etc/grafana/grafana.ini, и мы можем проверить порт прослушивания 3000.

Настроим связку Grafana и Loki.

Сервер Grafana работает через порт 3000.
Тогда веб-сервис Grafana будет доступен по адресу http://<grafana-server-ip>:3000.

Чтобы подключить Loki в качестве источника данных Grafana, просто зайдите в меню и выберите опцию:

Home → Connections → Data sources → Add new data source → Loki

Настраиваем ip и порт. Порт Loki по умолчанию — 3100:

Сохраняем и првоеряем.

Соединение Grafana-Loki завершено. Но мы не получаем никаких данных, поскольку Loki является компонентом-получателем, и мы не настроили какой-либо агент или клиент с нашим Loki.

Стек Grafana-Loki обычно получает данные от компонента Promtail, поскольку он является частью экосистемы Grafana.

Установка Promtail

dnf install promtail

Агент promtail должен быть настроен в каждой системе, из которой мы хотим собирать журналы.
Првоерить работу сервиса можно по ссылке server_ip:9080

/etc/promtail/config.yml

# This minimal config scrape only single log file.
# Primarily used in rpm/deb packaging where promtail service can be started during system init process.
# And too much scraping during init process can overload the complete system.
# https://github.com/grafana/loki/issues/11398

server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
- url: http://localhost:3100/loki/api/v1/push

scrape_configs:
- job_name: system
  static_configs:
  - targets:
      - localhost
    labels:
      job: varlogs
      #NOTE: Need to be modified to scrape any additional logs of the system.
      __path__: /var/log/messages
- job_name: api
  pipeline_stages:
  - labels:
      action:
      status_code:
  static_configs:
  - targets:
      - localhost
    labels:
      job: apilogs
      env: production
      #NOTE: Need to be modified to scrape any additional logs of the system.
      __path__: /var/log/server/api.log

Служба Loki прослушивает порт 3100, и IP-адрес хоста Loki должен быть настроен в значении «клиенты → URL».
Наиболее важным значением в файле конфигурации, обеспечивающим сбор ценных журналов, является значение __path__, которое может указывать на файл (api.log) или группу файлов (…/*.log).

Loki — это low-cost индексирование, и чтобы обеспечить поиск правильных значений во всех собранных журналах данных, мы должны правильно настроить целевые значения и метки.

Grafana-Loki’s best practices

Troubleshooting

При получении ошибок вида:

level=error ts=2024-08-02T11:24:19.11837499Z caller=filetarget.go:426 msg="failed to start tailer" error="open /var/log/messages: permission denied" filename=/var/log/messages

setfacl -R -m u:promtail:rX /var/log
$ sudo usermod -a -G systemd-journal promtail
$ sudo usermod -a -G adm promtail