Confluent Apache Kafka 管理培訓

模組1：Confluent Apache Kafka 叢集架構與配置簡介

• Kafka 在現代資料管道中的角色
• Apache Kafka 與 Confluent Kafka 之間的差異
• 核心元件：producers、consumers、brokers、topics、partitions
• Kafka 叢集部署模型和擴充考量

模組2：Zookeeper Quorum 配置

• 什麼是 Zookeeper？
• Zookeeper 在 Kafka 叢集中的角色
• Zookeeper Quorum 大小
• Zookeeper 配置
• 在我們的伺服器上實作 SSH
• 實作：Zookeeper 配置（作為團隊和作為服務）
• 使用 Zookeeper 命令列介面（CLI）
• 實作：Zookeeper Quorum 配置
• Zookeeper 內部檔案系統
• 影響 Zookeeper 的效能因素
• Zookeeper 和 Zoonavigator 管理工具示範

模組3：Kafka 叢集配置

• 基本 Kafka 概念
• Kafka 配置
• 實作：Kafka broker 配置
• 實作：執行 Kafka 命令
• 實作：Kafka 多節點叢集配置
• 實作：Kafka 叢集測試
• 我可以連線到我的 Kafka 叢集嗎？
• Advertised.listeners 配置：最重要的設定
• 主題配置
• 下載和擷取主題中訊息的配置
• 實作：展示 Kafka 的韌性
• Kafka 效能：I/O
• Kafka 效能：網路（RED）
• Kafka 效能：RAM
• Kafka 效能：CPU
• Kafka 效能：作業系統（OS）
• Kafka 效能：其他
• 實作：如何變更 Kafka broker 配置

模組4：進階 Kafka 配置

• Landoop Kafka topic 使用者介面、Confluent REST Proxy、Confluent Schema Registry 配置
• 傳送和接收訊息（CLI、Java 和 Spring 框架）
• 監控指標和工具（Confluent Control Center、Elasticsearch 等）
• 日誌檔案和偏移量管理
• 高可用性和災難復原
• 透過複製確保高可用性
• 調校 producer 和 consumer 效能
• 災難復原策略
• 故障轉移控制和資料復原
• Connector 配置
• Kafka Connect 實作
• Kafka 安全功能

總結與後續步驟