分散KVS「etcd」の環境を世界最速で構築!!

こんにちは、サイオステクノロジー技術部 武井です。今回は分散KVSであるetcdを世界最速で試しましたので、その方法をご紹介します。

etcdとは?

OSSの分散KVSです。単純なkey-Value形式のデータを保存することができます。アーキテクチャーも単純で、構築もそれほど難しくはありません。詳細は以下のURLを御覧ください。

https://etcd.io/

用途は、アプリケーションなどの設定ファイルを分散して保存したいときに使います。ローカルのファイルに書くと、そのファイルが失われた場合設定ファイル消えちゃいますし、ではMySQLとかCassandraなどのデータベースでもレプリケーションとかすれば分散して設定を保存できますが、たかだかKey-Value形式の設定保存するためにデータベースって大げさな気がします。

そこでetcdの登場なのですが、etcdは本当に単純なKey-Value形式の分散データストアです。キーを指定してデータを貯めるだけです。導入も簡単だし、アプリケーションの設定ファイルのような、単純なKey-Value形式のデータストアならモッテコイです。

Kubernetesの設定を保存するために利用されているのが有名かと思います。

試してみたいけれども、、、

導入が簡単とは言っても、やっぱりインストールとか面倒ですよね。なんか、サクッと試す方法ないかなと思ってGitHub見てたらDockerを使ったインストール方法がありました(´;ω;`)ブワッ

https://github.com/etcd-io/etcd/releases

わーい(*^_^*)

きっかけ

現在、ワタクシ、Kubernetes The Hard Wayというのをやっております。これは、昨今、Azure Kubernetes ServiceなどのManagedなKubernetesが多く、導入の敷居も非常に下がっておりますが、Kubernetesへの理解を深めるために、わざわざ難しい方法でインスコしましょうというのがKubernetes The Hard Wayです。

https://github.com/kelseyhightower/kubernetes-the-hard-way

その過程の中でetcdのインストールが出てきます。Kubernetesはその設定を保存するためにetcdを使っています。etcdへの理解を深めたかったので実際に設定ファイルをシコシコいじりながら試してみようと思っていたのですが、仮想マシンとか何個も立ててクラスター組むのはなぁと思っていたところに、公式のGitHubでDockerによるインストール方法を見つけました。これならサクッとインスコして試せるはずと思いまして、実際に試してみた次第でございます。

やってみよう

etcdのDockerコンテナを2台立てて分散してデータが保存されるのを試してみたいと思います。以下のコマンドを打つだけで環境は出来上がってしまいます。

では上記のコマンドの詳細な説明をしたいと思います。

まずこちらですが、Dockerのネットワークを作っています。etcdは、後ほど説明しますが、接続を許可するクライアントや、登録したデータをレプリケーションするためのetcd同士の通信の設定にIPアドレスが必要になります。なので、あらかじめDockerコンテナに固定のIPアドレスを割り振ることができるようDockerのネットワークを作成して、Dockerコンテナ作成時にそのネットワークに割当てます。上記の設定は、172.16.0.0/24のサブネットのネットワークを作成して、Dockerコンテナに割り当てることができるIPアドレスのレンジが同じく172.16.0.0/24ですよという意味です。

 

ここからは1台目と2台目の共通の設定です。etcdのデータを永続化するために、コンテナの中ではなくホスト上にデータを保存します。後ほどDockerコンテナからホスト上のディレクトリをマウントする設定が出てくるのですが、これはそのディレクトリの削除と作成です。最初に削除しているのは、以前のDockerコンテナ作成時に生成されたゴミデータを消すためです。

 

Dockerコンテナをデーモンで起動し、先程作成したetcd-networkに所属させ、そして固定のIPアドレスを割り当てます。IPアドレスは1台目と2台目で異なるものを割り当てます。

 

ホスト上のポートとコンテナ上のポートをマッピングします。2379はetcdのクライアントからの通信用、2380はクラスタメンバーからの通信用です。今回、同じホスト上に2台のetcdを立てるので、2台めは上記と異なるポート番号にします。2380は、コンテナ同士の通信用なので、いらないかもしれません。

 

コンテナ上の/etc-dataディレクトリをホスト上の/tmp/etcd-data1.tmpディレクトリにマウントさせるための設定です。コンテナを消しちゃうとデータが消えてしまうので、ホスト上にデータを永続化しています。でも今回は検証用なので特に不要かも(´・ω・`)

 

作成するコンテナ名をコンテナのイメージ名を指定しています。

 

ここからはいよいよetcdの起動及びパラメータの指定です。とりあえずetcdデーモンを起動して、その名前をetcd1とします。2台目はetcd2としています。

 

etcdのデータを保存するディレクトリを指定します。先程の設定によりこのディレクトリはホスト上のディレクトリにマウントされていますので、実際のデータはホスト上に永続化されています。

 

etcdからのクライントからの接続を許可するIPアドレスとポートを指定します。全てのIPアドレスを許可する場合は、0.0.0.0を指定します。例えば192.168.0.1からのみの接続を許可したい場合は、http://192.168.0.1:2379と指定します。

 

他のクライアントやクラスタメンバーに通知する接続許可IPアドレスとポートです。こちらですが、etcdctl member listというコマンドを打つと、他のクラスタメンバーの情報が表示されます。そのコマンド実行時に上記のIPアドレスが表示されます。それをみて、このクラスタメンバーは0.0.0.0からの接続を許可しているのねと知ることになるのだと思います。ちなみに、この値が適当な値(例えば存在しないIPアドレス)にしても特に動作に問題はなさそうでした。あくまでも他のクラスタメンバーへの通知用のようです。

 

これは、クラスタメンバー間の通信用(クラスタメンバー間のデータの分散保存)に使うURLです。ここではetcd1の–listen-peer-urlsをhttp://172.16.0.4:2380と指定していますが、他のクラスタメンバーがetcd1と通信するためには、このURLを指定しなければなりません。

 

他のクラスタメンバーに通知する、クラスタメンバー間の接続URLです。これも先程と同様etcdctl member listというコマンドを打つと表示される情報です。ここで表示される情報をもとに、他のクラスタメンバーへの接続先を定義します。ちなみにこのURLのホスト名の部分には、IPアドレスだけではなく、名前解決できるホスト名を指定できます。今回の例で言えば、http://etcd1:2380という値を指定できます。ここで指定した値は、後ほど、紹介するクラスター接続先の設定に含まれていなければなりません。

 

クラスター接続先の設定になります。ここには、全てのクラスターメンバーの接続先URL(–listen-peer-urlsもしくは–initial-advertise-peer-urlsで指定した値)を、「クラスター名=クラスターメンバーの接続先URL」の形式で指定します。

 

クラスターメンバー間の通信に使うためのトークンです。全てのクラスターで同じものを設定します。

 

クラスターを新規構築する場合にnewを指定します。

テストしましょう

では、クラスターがちゃんと構築できているか確認してみます。

etcd1の方にデータを入れてみます。専用のAPIが提供されていますので、それを実行します。

 

etcd1でデータが登録されているか確認してみます。

おおヮ(゚д゚)ォ!登録されています。

 

次はetcd2です。

おおヮ(゚д゚)ォ!登録されています。

ちゃんと分散されていることが確認できました(*^_^*)

さいごに

サクッとetcdを試したいときにはこの方法、とってもいいと思います。ではステキなetcdライフを送ってください。No etcd, No Life!!





ご覧いただきありがとうございます。
ブログの最新情報はSNSでも発信しております。
ぜひTwitterのフォロー&Facebookページにいいねをお願い致します!



>> 雑誌等の執筆依頼を受付しております。
   ご希望の方はお気軽にお問い合わせください!


ご覧いただきありがとうございます! この投稿はお役に立ちましたか?

役に立った 役に立たなかった

1人がこの投稿は役に立ったと言っています。

コメント投稿

メールアドレスは表示されません。


*