Building Data Pipelines with Apache Kafka培訓

這是一個由講師指導的香港（線上或線下）培訓，針對希望將Apache Kafka與現有數據庫和應用程序集成以進行處理、分析等的開發人員。

在培訓結束時，參與者將能夠：

• 使用Kafka Connect將大量數據從數據庫導入Kafka主題。
• 將應用程序服務器生成的日誌數據導入Kafka主題。
• Make任何收集到的數據，以便進行流處理。
• 將數據從Kafka主題導出到次級系統進行存儲和分析。

這是一個由講師指導的培訓課程（線上或線下），旨在幫助工程師使用Confluent（Kafka的分發版本）來構建和管理實時數據處理平台，以滿足其應用需求。

在培訓結束時，參與者將能夠：

• 安裝和配置Confluent Platform。
• 使用Confluent的管理工具和服務，更輕鬆地運行Kafka。
• 存儲和處理流入的串流數據。
• 優化和管理Kafka集群。
• 確保數據串流的安全性。

課程形式

• 互動式講座和討論。
• 大量的練習和實踐。
• 在實時實驗室環境中進行動手操作。

課程定制選項

• 本課程基於Confluent的開源版本：Confluent Open Source。
• 如需為本課程定制培訓，請聯繫我們安排。

在這個以講師為主導的香港現場培訓（現場或遠端）中，參與者將學習如何設置不同的Stream Processing框架並將其與現有的大數據存儲系統以及相關的軟體應用程式和微服務集成。

在培訓結束時，參與者將能夠：

• 安裝和配置不同的 Stream Processing 框架，例如 Spark Streaming 和 Kafka Streaming。
• 瞭解並選擇最適合工作的框架。
• 以逐條記錄的方式連續、併發地處理數據。
• 將 Stream Processing 解決方案與現有資料庫、數據倉庫、數據湖等集成。
• 將最合適的流處理庫與企業應用程式和微服務集成 。

本課程適用於企業架構師，開發人員，系統管理員以及任何想要了解和使用高吞吐量分佈式消息傳遞系統的人員。如果您有更多特定要求（例如，僅限系統管理方），可以根據您的需求定製本課程。

這種以講師為主導的香港現場現場培訓針對的是希望設置，部署，管理和優化企業級Kafka集群的系統管理員。

在培訓結束時，參與者將能夠：

• 設置和管理 Kafka 集群。
• 評估在本地部署 Kafka 與在雲中部署 Kafka 的優缺點。
• 使用各種本地和雲環境工具部署和監控 Kafka。

這種由講師指導的現場培訓香港（現場或遠端）面向希望使用 Apache Kafka 開發大數據應用程式的中級開發人員。

在本次培訓結束時，參與者將能夠：

開發 Kafka 生產者和消費者，以便從 Kafka 發送和讀取數據。 使用 Kafka Connect 將 Kafka 與外部系統整合。 使用 Kafka Streams 和 ksqlDB 撰寫流應用程式。 將 Kafka 用戶端應用程式與 Confluent Cloud 整合，以實現基於雲端的 Kafka 部署。 通過動手練習和實際用例獲得實踐經驗。

這種以講師為主導的香港現場培訓（現場或遠端）針對數據工程師，數據科學家和程式師，他們希望在數據流中使用Apache Kafka功能Python。

在本次培訓結束時，參與者將能夠使用 Apache Kafka 通過 Python 程式設計來監控和管理連續數據流中的條件。

這是由講師指導的香港（線上或線下）培訓，旨在幫助軟體測試人員將網路安全措施實施到Apache Kafka應用程式中。

在培訓結束時，學員將能夠：

• 將Apache Kafka部署到基於雲端的伺服器上。
• 實施SSL加密以防止攻擊。
• 添加ACL身份驗證以追蹤和控制用戶訪問。
• 確保可信客戶端能夠通過SSL和SASL身份驗證訪問Kafka集群。

這種以講師為主導的香港現場現場培訓針對的是希望學習Kafka基礎知識並將其與Spring Boot集成的中級開發人員。

在培訓結束時，參與者將能夠：

• 了解Kafka及其架構。
• 學習如何安裝、配置和設置基本的Kafka環境。
• 將Kafka與Spring Boot集成。

Kafka Streams 是一個客戶端庫，用於構建應用程序和微服務，其數據在 Kafka 消息系統之間傳遞。傳統上，Apache Kafka 依賴於 Apache Spark 或 Apache Storm 來處理消息生產者和消費者之間的數據。通過在應用程序中調用 Kafka Streams API，數據可以直接在 Kafka 中進行處理，從而避免了將數據發送到單獨的集群進行處理的需求。

在這場由講師指導的線下培訓中，參與者將學習如何將 Kafka Streams 集成到一組示例 Java 應用程序中，這些應用程序在 Apache Kafka 之間傳遞數據以進行流處理。

在培訓結束時，參與者將能夠：

• 了解 Kafka Streams 的功能及其相較於其他流處理框架的優勢
• 直接在 Kafka 集群中處理流數據
• 編寫與 Kafka 和 Kafka Streams 集成的 Java 或 Scala 應用程序或微服務
• 編寫簡潔的代碼，將輸入的 Kafka 主題轉換為輸出的 Kafka 主題
• 構建、打包並部署應用程序

目標受眾

• 開發人員

課程形式

• 部分講座、部分討論、練習和大量動手實踐

注意事項

• 如需為本課程定制培訓，請聯繫我們安排

這種由講師指導的現場培訓 香港（遠端或遠端）面向希望學習如何有效管理 Kafka 主題以實現高效數據流和處理的初級到中級系統管理員。

在培訓結束時，參與者將能夠：

• 瞭解 Kafka 主題基礎知識和體系結構。
• 創建、配置和管理 Kafka 主題。
• 監視 Kafka 主題的運行狀況、性能和可用性。
• 為 Kafka 主題實施安全措施。

這個由 講師指導的 香港 現場培訓（在線或現場）面向希望在不編寫代碼的情況下實現 Apache Kafka 流處理的開發人員。

在本次培訓結束時，參與者將能夠：

• 安裝和配置 Confluent KSQL。
• 僅使用 SQL 命令（無 Java 或 Python 編碼）設置流處理管道。
• 完全在 SQL 中執行數據過濾、轉換、聚合、連接、視窗化和會話化。
• 為流式 ETL 和即時分析設計和部署互動式連續查詢。

這種以講師為主導的香港現場現場培訓針對的是希望使用SMACK堆棧為大數據解決方案構建數據處理平臺的數據科學家。

在培訓結束時，參與者將能夠：

• 實施用於處理大數據的數據管道體系結構。
• 使用 Apache Mesos 和 Docker 開發集群基礎架構。
• 使用 Spark 和 Scala 分析數據。
• 使用 Apache Cassandra 管理非結構化數據。

這種以講師為主導的香港現場培訓（現場或遠端）針對希望使用Spark Streaming功能處理和分析即時數據的數據工程師，數據科學家和程式師。

在本次培訓結束時，參與者將能夠使用 Spark Streaming 處理實時數據流，以便在資料庫、文件系統和即時儀錶板中使用。

This instructor-led, live training in 香港 (online or onsite) is aimed at developers who wish to transform traditional architecture into a highly concurrent microservices-based architecture using Spring Cloud, Kafka, Docker, Kubernetes and Redis.

By the end of this training, participants will be able to:

• Set up the necessary development environment for building microservices.
• Design and implement a highly concurrent microservices ecosystem using Spring Cloud, Kafka, Redis, Docker and Kubernetes.
• Transform monolithic and SOA services to microservice based architecture.
• Adopt a DevOps approach to developing, testing and releasing software.
• Ensure high concurrency among microservices in production.
• Monitor microservices and implement recovery strategies.
• Carry out performance tuning.
• Learn about future trends in microservices architecture.