hong-kong現場PySpark培訓

在這場於 hong-kong 舉辦的講師帶領培訓中，學員將透過實際操作演練，學習如何結合使用 Python 與 Spark 來分析大量資料。

完成本課程後，學員將能夠：

• 學習如何使用 Spark 搭配 Python 分析大量資料。
• 進行模擬真實場景的演練。
• 運用不同工具與技術，透過 PySpark 執行大量資料分析。

本次由讲师引导的培训(线上或线下)面向希望使用Databricks和PySpark构建可扩展数据管道并迁移现有SQL工作流的数据工程师、数据分析师和数据专业人员。

本培訓提供了一個實用的入門指南，介紹如何使用PySpark構建可擴展的數據處理和機器學習工作流。參與者將學習Apache Spark在現代大數據生態系統中的運作方式，以及如何利用分佈式計算原理高效處理大規模數據集。

這門三天的實務課程著重於在Kubernetes環境中使用PySpark、Pandas和Polars來建構並優化高效能的資料處理工作負載。

學員將對Spark應用程式如何在Kubernetes上執行，以及應用程式層級的設定決策如何影響效能、擴充性、資源消耗和成本，建立實務性的理解。課程涵蓋關鍵的優化領域，包括執行器大小、記憶體分配、動態分配、分割策略、Shuffle行為、小檔案問題以及高效的Parquet處理。

課程還處理使用Pandas時的常見挑戰，包括記憶體限制和記憶體不足失敗，並介紹Polars作為特定資料處理工作負載的高效能替代方案。透過動手練習，學員將診斷效能和記憶體問題，比較不同的設定策略，並將優化技術應用於現實的ETL和機器學習情境。

課程始終強調實務決策能力：了解如何識別瓶頸、選擇適當的工具、高效設定Spark，並平衡效能與基礎架構資源消耗及成本。