Мониторинг Ceph кластера используя Prometheus и платформу визуализации Grafana .
Grafana - открытая и бесплатная платформа визуализации данных и мониторинга с поддержкой Graphite , InfluxDB , Prometheus , Elasticsearch и многих других баз.
Для мониторинга Ceph кластера мы будем использовать Prometheus
Prometheus - это система мониторинга с открытым исходным кодом, разработанная SoundCloud . Как и другие системы мониторинга, такие как InfluxDB и Graphite , Prometheus хранит все свои данные в базе данных временных рядов.
Установка Grafana Установим актуальную версию Grafana с официального сайта :
yum install https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.4.3-1.x86_64.rpm
Либо используя репозиторий /etc/yum.repos.d/grafana.repo
:
[grafana]
name=grafana
baseurl=https://packagecloud.io/grafana/stable/el/6/$basearch
repo_gpgcheck=1
enabled=1
gpgcheck=1
gpgkey=https://packagecloud.io/gpg.key https://grafanarel.s3.amazonaws.com/RPM-GPG-KEY-grafana
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
И ставим пакет:
Добавляем сервис в автозагрузку:
systemctl enable grafana-server.service
Запускаем сервис:
systemctl start grafana-server
После установки Grafana будет доступна по адресу: http://IP_ADDRESS:3000
Логин/пароль по умолчанию admin/admin
.
Установка Prometheus Создаем non-root sudo
пользователя prometheus
.
echo "prometheus ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/prometheus && sudo chmod 0440 /etc/sudoers.d/prometheus
Загружаем стабильную версию продукта:
$ curl -LO "https://github.com/prometheus/prometheus/releases/download/v1.7.1/prometheus-1.7.1.linux-amd64.tar.gz"
Создаем директорию для Prometheus :
И распаковываем в неё загруженный архив:
$ tar -xvzf ~/prometheus-1.7.1.linux-amd64.tar.gz
Проверяем установленную версию Prometheus :
$ /home/prometheus/Prometheus/prometheus-1.7.1.linux-amd64/prometheus -version
Увидим приблизительно следующий вывод:
prometheus, version 1.7.1 (branch: master, revision: 3afb3fffa3a29c3de865e1172fb740442e9d0133)
build user: root@0aa1b7fc 430d
build date: 20170612-11:44:05
go version: go1.8.3
В целом установка Prometheus завершена.
Запускаем Prometheus сервер Переходим в директорию с установленным Prometheus
$ /home/prometheus/Prometheus/prometheus-1.7.1.linux-amd64/
Редактируем конфигурационный файл prometheus.yml
:
...
- job_name: 'ceph-exporter'
static_configs:
- targets: ['YOU_IP_ADDRESS:9128']
labels:
alias: ceph-exporter
Запускаем Prometheus в фоновом режиме:
nohup ./prometheus > prometheus.log 2>&1 &
Посмотреть лог-файл сервиса Prometheus :
Вывод приблизительно следующий:
time="2017-09-14T12:21:58+03:00" level=info msg="Starting prometheus (version=1.7.1, branch=master, revision=3afb3fffa3a29c3de865e1172fb740442e9d0133)" source ="main.go:88"
time="2017-09-14T12:21:58+03:00" level=info msg="Build context (go=go1.8.3, user=root@0aa1b7fc430d, date=20170612-11:44:05)" source ="main.go:89"
time="2017-09-14T12:21:58+03:00" level=info msg="Host details (Linux 3.10.0-514.21.1.el7.x86_64 #1 SMP Thu May 25 17:04:51 UTC 2017 x86_64 InfraCephManage (none))" source ="main.go:90"
time="2017-09-14T12:21:58+03:00" level=info msg="Loading configuration file prometheus.yml" source ="main.go:252"
time="2017-09-14T12:21:58+03:00" level=info msg="Loading series map and head chunks..." source ="storage.go:428"
time="2017-09-14T12:21:58+03:00" level=info msg="0 series loaded." source ="storage.go:439"
time="2017-09-14T12:21:58+03:00" level=info msg="Starting target manager..." source ="targetmanager.go:63"
time="2017-09-14T12:21:58+03:00" level=info msg="Listening on :9090" source ="web.go:259"
Веб-интерфейс доступен по адресу: http://YOUR_IP_ADDRESS:9090
Настройка экспорта Для экспорта данных о Ceph кластере будем использовать Ceph Exporter
В данной статье будет рассмотрен пример с Docker -контейнером, на ГХ можно найти мануал по установке на Go .
Итак, установим Docker , если он еще не установлен в системе:
$ sudo yum install docker
Добавим в автозагрузку и запустим:
$ sudo systemctl enable docker
$ sudo systemctl start docker
Выгружаем контейнер:
$ sudo docker pull digitalocean/ceph_exporter
Запускаем контейнер с дополнительными опциями (указываем папку с конфигурационными файлами Ceph , а также порт на котором будет слушаться экспортер ):
$ sudo docker run -v /etc/ceph:/etc/ceph -p=9128:9128 -td digitalocean/ceph_exporter
Проверяем, что контейнер запущен:
$ sudo docker stats
CONTAINER CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
bc05ae2b7acb 0.04% 5.922 MiB / 992.7 MiB 0.60% 47.11 kB / 16.86 kB 23.66 MB / 0 B 16
Настраиваем экспорт в Grafana Добавляем источник данных в Grafana :
Затем добавляем дашборд. В данном примере используется Ceph - Cluster шаблон с Grafana Labs . Добавляем его. (Для удобства можно использовать ID 917 для быстрого импорта).
Переходим в добавленный дашборд и, если все действия были выполнены правильно, то наблюдаем информацию о нашем Ceph кластере.