Apache Kafka
データの送信者（プロデューサー）からデータを預かり、データの受信者（コンシューマー）の求めに応じて送り届ける。多数のプロデューサー、コンシューマーの間で交通整理を行い、互いに求める相手との間で整然とデータを送受信することができる。
個々のサーバを「ブローカー」と呼び、複数のブローカーをクラスタとして一体的に運用し、データを分散して管理する。ブローカーを増やすことで全体の性能を向上させることができる。データは複数のブローカーに複製され、一部のブローカーが停止しても他のブローカーがサービスを継続する。
データの集配信はPub/Subモデルに基づいて行われる。データは「トピック」によって分類され、コンシューマーは自分が必要とするトピックのデータを購読（サブスクリプション）する。一件のデータは一対のキーと値が組になったキーバリュー型の構造となっており、終端を定めず継続して送られてくるストリーム処理に対応している。
Kafkaの主な用途として、複数のマイクロサービスの組み合わせとして構築されたシステムにおけるサービス間のデータの受け渡しや、IoTシステムなどで多数のセンサー機器などから間欠的に送られ続けるデータのストリーム処理などがある。
Kafkaは2011年に米リンクトイン（LinkedIn）社で開発され、アパッチソフトウェア財団（ASF：Apache Software Foundation）へ寄贈されオープンソース化された。JavaおよびScalaによって開発されており、Apacheライセンスに基づいて公開されている。名称の由来は小説「変身」などで知られる作家フランツ・カフカ（Franz Kafka）である。
(2023.10.12更新)
共有ボタンをタップ