今回の記事では、大量のデータを取り扱うにあたって重宝されているApache Kafka について解説していきたいと思います。

Kafkaについて

何者？

Apache Kafkaとは、ひたすら流れ続ける情報(ストリーム)を大量に処理するイベントストリーミングプラットフォーム

であり、以下の特徴をもっています。

• 複数のマシンから構成（クラスター）されているため、マシンがダウンしても他のマシンが代わりに機能する・・・フォールトトレランス
• データ量に応じてクラスター内の数を調整する・・・スケーラビリティ
• データ一つ一つを失うことなく、正確に送受信(Exactly Once)するための設定ができる

何に利用されている？

kafkaは主に以下の用途で利用されています

• ログ収集

  • ログは非常に容量が大きいものになっている場合が多く、スケーラビリティを保証するKafkaがよく利用されます。

• webサービスのアクティビティトラッキング
  • 顧客のweb上の動きや、商品購入情報などのデータを取り扱うことができます。
• 地図アプリ（カーナビ）などのリアルタイム情報の取得～抽出など

Kafka の構成

構成図と概要

Kafkaでは、大きく分けてメッセージを送信するProducerと、Producerからメッセージを受け取るCluster(Kafka本体)、Brokerからメッセージを受け取るConsumerの三つ存在します。

複数あるProducerからClusterにデータを集約させ、また複数のConsumerに向けてデータ送信しています。

このように１か所にデータを保存して任意の場所にデータ送信するシステムをキューイングシステムと呼び、以下のようなメリットがあります

• Producerが送信先を意識する必要がない
• 通信経路を単純化することで、通信路の拡張性が上がる

Clusterは以下のように複数のBrokerノードで構成されており、さらにその内部に下段で紹介するTopicやPartition、Replicaなどがあります。

                                                                                                 Cluster内部図

Topic

Producerからのデータを種類ごとに保存する役割を持ちます。図ではTopicは一つだけですが、複数持つことも可能です。

Kafkaでは多くのデータのやりとりをするため、データの話題(Topic)ごとに分けることが必要になってきます。

Topicの例としては次のようなものがあります（商品通販サイトなどの場合）。

• 顧客の注文する品物を格納するTopic
• 注文をした顧客自身のデータを格納するTopic

またTopicでは負荷分散のため、複数のPartitionを持つことができます。

Partition

Topicの中に複数存在し、いずれかのパーティションにメッセージを均等に送信することで負荷を少なくします。

Replica

さらにPartitionは複数のReplicaから構成されており、そのうちの1つがLeader Replica、残りはFollower Replicaとなっています。

Leaderは唯一Producer,Consumerからのデータ送受信を行うことができるReplicaです。

一方でFollowerはLeaderからデータを複製し、Leaderのもつデータの状態と一致するようにします。

この、Leaderの状態と同じFollowerのことをIn Sync Replica(ISR)と呼びます。ISRにはLeaderも含まれます。

Leaderがダウンした場合、ISRであるFollowerからLeaderを選ぶことで耐障害性を保証します。

まとめ

Apache kafkaには、データ送信元となるProducerと、Kafka本体であるデータ保管場所のCluster、データを受け取るConsumerがあり、さらにCluster内部にはTopic,Partition,Replicaについて解説しました。

次回はProducer,Consumerについても掘り下げていきたいと思います。

お読みいただきありがとうございました！