【新刊のお知らせ】Confluent×Databricksで“リアルタイム不正検知”を作る体験記を書きました
Databricks、Kafka、機械学習、Slack通知──
これらの技術をつないで「リアルタイムで不正取引を検知し、即座に通知する」システムを自分の手で作る。その一連の流れを記録した書籍を出版しました。
📗 書籍タイトル
ゼロから学ぶDatabricksとConfluent（Kafka）リアルタイム連携！非公式ガイド
なぜこの本を書いたのか？
「Kafkaって名前だけは知ってるけど、実際には触ったことがない」
「Databricksって何ができるの？GUIだけじゃダメなの？」
そんな自分自身の疑問からスタートしました。
最近では「リアルタイムデータ」「ストリーミング処理」がキーワードになることが増えていますが、いざ学ぼうとすると…
用語が難しい
設定が複雑
仕組みが抽象的
こうした壁にぶつかりがちです。
そこで本書では、「まずは動かしてみる」という実践第一のスタンスで、KafkaとDatabricksを連携させてみた記録をまとめました。
どんなことができるようになる本？
構成は以下のようになっています：
S3から顧客マスタや取引履歴をバッチで取り込む（Auto Loader）
Kafkaからリアルタイムで取引ログを受信
Delta Lake上でデータを構造化・加工（Bronze/Silver/Gold）
Pandas×Scikit-learnで簡易的なfraudスコアを付与
スコアに応じてSlack通知を実行
MLflowでモデルを記録・再利用できる形にする
あくまでプロトタイプですが、いわゆる「Kafkaストリーミング × ML判定 × 通知」という一連の流れが手元で再現できます。
難易度は？対象は？
本書は、次のような方に特におすすめです：
KafkaやDatabricksを触ったことがない人
→ GUIとNotebookから始めています自分の手で動かして“理解”したい人
→ コピペだけでなく、失敗例や工夫も記載していますETLやMLを“つなげる”構成を試してみたい人
→ バッチ＋ストリーミング、Delta＋MLflowといった構成に触れられます
なお、初心者向けではありますが、画面キャプチャや図解はあえて少なめです。
その分、実際のコードや体験ベースの記述に重きを置いています。
最後に
書籍の内容は「高度な理論」でも「精緻な設計」でもありません。
けれど、「やってみたからこそ実感できたこと」「詰まったときにどう考えたか」をそのまま記しています。
リアルタイム処理を“遠い存在”にしないために。
KafkaとDatabricksを使った“最初の一歩”を踏み出す一助になればうれしいです。
📘 Amazonリンクはこちら 👉 https://amzn.to/43UTCBy
ご興味があれば、ぜひ覗いてみてください！
