Prometheus でメール通知

こんにちは。サイオステクノロジー OSS サポート担当山本です。

以前の記事で扱った監視ツール Prometheus には、収集した metrics が一定の条件を満たした場合にメール等で通知する機能があります。

今回はその Prometheus の通知機能のうち、メールでの通知方法について確認していきます。

1 ■Prometheus の通知機能
2 ■Alertmanager の導入と設定
3 ■Prometheus の設定変更
4 ■通知の確認
5 ■最後に

■Prometheus の通知機能

Prometheus のような監視ツールでは通知機能が存在していることは珍しくないですが、勿論 Prometheus にも通知機能は存在しています。

Prometheus の通知機能を使用する場合、別途通知機能を扱う AlertManager というツールが必要になります。

今回は Prometheus と node_exporter の設定を終えたところから必要になる設定を見ていきます。
Prometheus などの設定方法につきましては、以前の記事を参照してください。

Prometheus を使ってみた

■Alertmanager の導入と設定

まずは Prometheus で通知を行うために必要になる Alertmanager を導入しましょう。
Alertmanager は Prometheus 公式サイトのダウンロードページからダウンロードできます。

まずはダウンロードして解凍しましょう。この記事の投稿時点では、以下のコマンドを実行すれば OK です。

# wget https://github.com/prometheus/alertmanager/releases/download/v0.17.0/alertmanager-0.17.0.linux-amd64.tar.gz
# tar xzvf alertmanager-0.17.0.linux-amd64.tar.gz

続いて、Alertmanager の設定を行います。Alertmanager では通知先や通知方法など、「どのようにして」「どこへ」通知を行うかの設定を行います。
Alertmanager の設定ファイル alertmanager.yml を開き、以下の項目を設定します。

・(global:) smtp_from: <送信元メールアドレス>
・(global:) smtp_smarthost: <メールサーバのアドレス:ポート>
・(route: routes:) – receiver: <任意のレシーバ名>
・(route: routes: – receiver: match:) <任意のラベル名>: <任意のラベル値>
・(receivers:) – name: <レシーバ名>
・(receivers: – name: email_configs:) – to: <送信先メールアドレス>
・(receivers: – name: email_configs: – to:) require_tls: false (※TLS を使用しない場合のみ)

例えば、デフォルトの設定に localhost のメールサーバで localhost の root ユーザにメール通知を行う設定を追加すると、以下のようになります。

alertmanager.yml 例1

global:
  resolve_timeout: 5m
  smtp_from: 'prometheus.test@example.com'
  smtp_smarthost: 'localhost:25'
route:
  group_by: ['alertname']
  group_wait: 10s
  group_interval: 10s
  repeat_interval: 1h
  receiver: 'web.hook'
  routes:
  - receiver: 'mailtest'
    match:
      test_type: SampleAlert
receivers:
- name: 'mailtest'
  email_configs:
    - to: 'root@localhost.localdomain'
      require_tls: false
- name: 'web.hook'
  webhook_configs:
  - url: 'https://127.0.0.1:5001/'
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']

デフォルトで設定されている “web.hook” レシーバの設定がいらない場合は、以下のような形にすることもできます。

alertmanager.yml 例2

global:
  resolve_timeout: 5m
  smtp_from: 'prometheus.test@example.com'
  smtp_smarthost: 'localhost:25'
route:
  group_by: ['alertname']
  group_wait: 10s
  group_interval: 10s
  repeat_interval: 1h
  receiver: 'mailtest'
receivers:
- name: 'mailtest'
  email_configs:
    - to: 'root@localhost.localdomain'
      require_tls: false
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']

その他の詳細な設定やメール以外の方法で通知を行いたい場合などは公式ドキュメントを参照してください。

設定を終えたら、以下のコマンドを実行して Alertmanager を起動します。

(Alertmanager のディレクトリ内)
# nohup ./alertmanager --config.file=alertmanager.yml &

起動後、node_exporter の時と同様に nohups.out から Alertmanager のポート番号を確認しておきましょう。
(通常、Alertmanager の使用ポートは 9093 です。)

■Prometheus の設定変更

さて、Prometheus で通知を行うためには、Alertmanager の設定だけではなく Prometheus 側の設定も必要になります。
Alertmanager と連携させる設定は勿論ですが、「どんな時に通知を行うのか」、つまり通知条件の設定も Prometheus 側で行う必要があります。

まずは Alertmanager との連携設定から見ていきます。
Prometheus と Alertmanager の連携は Prometheus の設定ファイル prometheus.yml に設定します。デフォルトで Alertmanager を設定する箇所が用意されていますので、以下の設定を追加しましょう。

・(alerting: alertmanagers: – static_configs: – targets:) – <Alertmanager を動作させているホスト名> : <ポート番号>

prometheus.yml

 :
# Alertmanager configuration
alerting:
  alertmanagers:
  - static_configs:
    - targets:
      # - alertmanager:9093
      - localhost:9093
 :

次に、通知条件の設定です。
その前にまず、Prometheus の Web インターフェースから、今回の例で確認に使うファイルシステムの空き領域を取得する metrics、node_filesystem_avail_bytes の値の確認をしましょう。ブラウザから以下のページにアクセスして確認しておいてください。

https://(IP アドレス or サーバ名):9090/graph

さて、通知条件の設定方法ですが、Prometheus のディレクトリ内に任意の名前の yml ファイルを作成して設定を記述します。
今回は「alert_rules.yml」というファイルを作成し、ファイルシステムの空き領域が一定以下になったら通知が行われるように設定してみます。
設定例は以下のとおりです。

alert_rules.yml

groups: - name: sample_alert rules: - alert: AlertTest expr: node_filesystem_avail_bytes{mountpoint="/"}

この設定のうち、特に重要になるのは以下の 3つです。

・(groups: - name: rules: - alert:) expr: <promQL を用いた条件式>
(この条件式を満たしている間、通知を行います)
・(groups: - name: rules: - alert:) for: <時間>
(expr の条件を満たしてから、最初の通知を行うまでの時間)
・(groups: - name: rules: - alert: labels:) [<ラベル名>: <ラベル値>] (Alertmanager の設定ファイル alertmanager.yml で route: routes: - receiver : match を設定した receiver を使う場合に必要)

上記の設定例は「node_filesystem_avail_bytes{mountpoint="/"} が 8589934592byte より小さい状態が 3分間続いた場合には通知を送る」という設定になります。
この手順に沿って実際に試す場合には、expr に設定する条件式の数値は先に Prometheus のインターフェースで確認した値より 100MB 程度小さい値に設定しておいてください。

続いて、Prometheus からこの通知設定ファイル alert_rules.yml を参照するように prometheus.yml で設定します。
こちらはデフォルトで用意されている "rule_files" 要素に追加する形で設定すれば OK です。

・(rule_files:) - "<通知設定ファイル名>"

prometheus.yml

 :
# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"
  - "alert_rules.yml"
 :

ここまで設定を行ったら、最後に Prometheus を再起動、または設定を再読み込みさせれば Prometheus の通知設定は完了です。

(起動)
# nohup ./prometheus --config.file=prometheus.yml &
  または
(設定の再読み込み)
# killall -HUP prometheus

■通知の確認

それでは、通知が機能するのか確認してみましょう。

まず、ブラウザから以下のアドレスにアクセスして、Prometheus の Alerts 画面を開いてみてください。

https://(IP アドレス or サーバ名):9090/alerts

正しく設定ができていれば、"alert_rules.yml" の設定内容のうち、「alert」に設定した値と同じ名前の項目が表示されているはずです。また、expr の条件を満たしていない場合、この項目の背景は緑色になっています。
この項目を押下すると、設定されている通知の詳細が確認できます。

上手く設定できているのが確認できたら、例として以下のコマンドを実行して 200MB のダミーファイルを作成し、今回の expr の条件を満たす状態にしてみましょう。

# fallocate -l 200MiB dummy_file

ダミーファイルを作成したら、再度ブラウザから Alerts 画面を開いてみてください。Prometheus が監視データを収集して expr の条件が満たされたことが検知されると、対象の通知項目が背景の黄色い「PENDING」に変化するはずです。しかし、この時点ではまだメール通知は行われません。

「PENDING」状態で expr の条件を満たしたまま 3分 ("alert_rules.yml" で「for」に設定した時間) が経過すると、対象の通知項目が背景の赤い「FIRING」状態となるはずです。更に、この時点で alertmanager.yml で設定したメールの送信先に通知メールが届いているはずです。