Shibboleth IdPのログをGrafanaで可視化する

◆ Live配信スケジュール ◆
サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。
⇒ 詳細スケジュールはこちらから
⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください
【6/19開催】Kong Community Japan Meetup #4
本イベントでは、Kong Inc. のVP of ProductであるReza Shafii氏もプレゼンターとして参加。当社からはアーキテクト マネージャーの槌野の登壇が決定!参加無料です!!
https://column.api-ecosystem.sios.jp/connect/kong/1081/

【6/21開催】開発者目線でのSBOMとの向き合い方
SBOMの導入から開発者がSBOMの作成・管理を自動で行っていくための方法(デモ)を紹介します。SBOMを全く知らない人から、開発との統合までを紹介するので様々なレベルの方に学びがあるライブとなる予定です!
https://tech-lab.connpass.com/event/321422/

【7/19開催】現場で役立つAzure神小技10+α 〜生成AI,RAG,コスト削減など旬な技術満載のLT大会〜
Azureの最新技術や実用的な小技を紹介する特別なライトニングトーク大会を開催します!
https://tech-lab.connpass.com/event/319077/

【7/26開催】最適なIaCツールを選ぼう
プロジェクトでのツール選びに困らないための重要な観点をご説明します!
https://tech-lab.connpass.com/event/319532/

みなさん、こんにちは。サイオステクノロジー武井です。今回はShibboleth IdPのログをGrafanaで可視化してみたいと思います。

Shibboleth IdPとは?

Shibbolethとは大学などでよく使われる学術系オープンソースシングルサインオンシステムです。SAML(Security Assertion Markup Language)をベースに、ユーザーの認証情報や属性を他のシステムやサービスに提供します。大学や研究機関が参加する学術フェデレーションにおいて、ユーザーが異なるサービスやアプリケーションにシングルサインオンでアクセスできるようにする役割を果たします。これにより、ユーザーは一度ログインするだけで、フェデレーション内の複数のサービスを利用できます。

Shibboleth IdPのログの可視化とは?

Shibboleth IdPは、若干管理系の機能が弱いところがあります。GUIによる操作が行えない、設定ファイルはテキストベース、APIが提供されていないなどです。ログもサーバーにログインして直接して見るしかないのですが、やはりこれだと運用面でちょっと不便です。

そこで今回は、そんなShibboleth IdPの弱点を補うべく、GrafanaによってログをWebベースで閲覧したり、高度な検索ができるようにしたいとおもいます。

Grafanaとは?

Grafanaは、時系列データの視覚化ツールです。システムの監視やメトリクスのトラッキングを行い、それらのデータをダッシュボード上でグラフとして美しく表示するのが得意です。Prometheus、InfluxDB、Elasticsearchなど多くのデータソースをサポートしており、それらのデータをリアルタイムでグラフ化します。ドラッグ&ドロップのインターフェースを通じてカスタマイズ可能なダッシュボードを作成でき、さまざまなパネルやウィジェットを配置してデータを視覚的に解析することができます。アラート機能も組み込まれており、特定の閾値を超えた場合に通知を受け取ることができます。これにより、システムの異常や障害を迅速に察知し、対応することが可能になります。

詳しくは、弊社のGrafanaマスター佐々木千奈さんのブログをご参照ください。

よくわかるGrafana入門【ダッシュボード編①】

どのように実現するの?

Grafana単体では、Shibboleth IdPのログの可視化は実現できません。同じくGrafanaで提供されているPromtailとLokiというOSSを使います。

Loki

テキスト形式のログを集約してインデックス化を行うシステムです。もうちょっとわかりやすく言いますと、普通のテキストのログはRDBにSQL発行するみたいに柔軟な検索は行えませんが、それを実現するのがLokiになります。Lokiがログを集約して作成したインデックスにGrafanaから接続しますと、ログの可視化や分析が容易になります。

Promtail

Promtailは、Lokiのエージェントとして動作するツールです。システムやアプリケーションのログファイルを監視・収集し、それをLokiに転送する役割を持ちます。ログファイルを読み取る際、ラベルを付与して情報を整理・分類する能力も有しています。簡単に言えば、Promtailは「ログの収集人」として動き、見つけたログをLokiの「ログの保管庫」に持っていく役割を果たします。この連携により、大量のログを効率的に管理・検索することが可能となります。

 

Grafana、Loki、Promtailを組み合わせて、以下のようにShibboleth IdPのログの可視化を実現します。

  1. 設定:まず、PromtailをShibboleth IdPに設置します。Promtailの設定では、どのログファイルを監視するかや、どのようにログを解析・フォーマットするかを定義します。

  2. ログの収集:PromtailがShibboleth IdPのログファイルを読み取ります。この際、ログエントリにはタイムスタンプやラベルが付与されます。

  3. ログの送信:Promtailは読み取ったログをLokiに送信します。Lokiはこれらのログを効率的にインデックス化し、ストレージに保存します。

  4. ダッシュボードの構築:Grafanaで新しいダッシュボードを作成し、Lokiをデータソースとして追加します。これにより、GrafanaはLokiからログデータを直接クエリすることができます。

  5. ログの可視化:Grafanaのダッシュボード上で、Lokiからのログデータを基に、必要な情報を視覚的に表示する設定を行います。必要に応じて、特定のキーワードやラベルに基づいたフィルタリングも行えます。

 

こんな感じで実現できます。

試してみよう

サクッと試してみましょう。

Grafana、Loki、PromtailはDockerイメージとして提供されています。なので、これを使わない手はありません。

以前以下のブログでご紹介した「Dockerコンテナ化したShibboleth IdP」にGrafana、Loki、PromtailのDockerイメージをコンテナ化して追加してみたいと思います。

Shibboleth IdP5をDockerコンテナ化するスクリプトをGitHubで公開しました

 

目指すべき構成はこんな感じです。

 

promtailはShibboleth IdPの中にエージェントとしてインストールするというのもありなのですが、これはDockerイメージが提供されているのでDockerコンテナとして構築します。Shibboleth IdPのログは、Dockerのボリュームを利用して、Shibboleth IdPとPromtailで共有します。

PromtailはtailをしたShibboleth IdPのログをLokiにHTTP経由で送信し、それを受け取ったLokiはインデックス化します。

GrafanaはLokiに接続して、インデックス化されたログを取得、可視化するというわけです。

上記の構成を実現するdocker-compose.ymlその他構成ファイルを以下のGitリポジトリにご用意しました。

https://github.com/noriyukitakei/dockerized-shibboleth-idp5-with-grafana

以下の手順で上記の環境がサクッと構築できます。

$ git clone https://github.com/noriyukitakei/dockerized-shibboleth-idp5-with-sp
$ cd dockerized-shibboleth-idp5-with-sp/idp
$ docker run -it -v $(pwd):/ext-mount --rm noriyukitakei/dockerized-shibboleth-idp5 gen-idp-conf.sh
$ cd ..
$ docker-compose up -d

じーまーで簡単ですね。ただし現状では、/opt/shibboleth-idp/logs/idp-process.logしか取得できません。

http://localhost:9080/にアクセスすると、Promtailのログの取得状況が確認できます。以下のようになっていればOKです。

 

Grafanaの設定を変更し、Lokiへの接続を追加する必要があります。http://localhost:3000/(Grafanaの管理画面)にアクセスして、左上の波平のおでこみたいなのをクリックして、「Connections」をクリックしてください。そして検索テキストボックスに「Loki」ろ入力すると、以下のようにLokiのデータソースが表示されるのでクリックします。

 

「Add new data source」をクリックします。

 

「URL」の部分を「http://loki:3000」と入力し、「Save & test」をクリックします。

 

以下のように表示されたらOKです。

 

左上の波平のおでこみたいなのをクリックして、「Explorer」をクリックします。接続先がLokiになっているのを確認して「Label filters」に「filename=/opt/shibboleth-idp/logs/idp-process.log」になるよう入力して「Run query」をクリックすると、Shibboleth IdPのログが表示されます。Grafanaの機能を活用すれば、あんなすごいことやこんなすごいことも出来るはずです。

まとめ

ログを可視化出来るようになれば、運用の幅がぐんと広がりますよね。あんな人があんなSPを、、、なんてのも覗き見できて面白いかもしれません。

アバター画像
About 武井 宜行 271 Articles
Microsoft MVP for Azure🌟「最新の技術を楽しくわかりやすく」をモットーにブログtech-lab.sios.jp)で情報を発信🎤得意分野はAzureによるクラウドネイティブな開発(Javaなど)💻「世界一わかりみの深いクラウドネイティブ on Azure」の動画を配信中📹 https://t.co/OMaJYb3pRN
ご覧いただきありがとうございます! この投稿はお役に立ちましたか?

役に立った 役に立たなかった

1人がこの投稿は役に立ったと言っています。


ご覧いただきありがとうございます。
ブログの最新情報はSNSでも発信しております。
ぜひTwitterのフォロー&Facebookページにいいねをお願い致します!



>> 雑誌等の執筆依頼を受付しております。
   ご希望の方はお気軽にお問い合わせください!

Be the first to comment

Leave a Reply

Your email address will not be published.


*


質問はこちら 閉じる