Python, Spark, and Hadoop for Big Data培訓

Python is a high-level programming language famous for its clear syntax and code readibility. Spark is a data processing engine used in querying, analyzing, and transforming big data. PySpark allows users to interface Spark with Python.

In this instructor-led, live training, participants will learn how to use Python and Spark together to analyze big data as they work on hands-on exercises.

By the end of this training, participants will be able to:

• Learn how to use Spark with Python to analyze Big Data.
• Work on exercises that mimic real world cases.
• Use different tools and techniques for big data analysis using PySpark.

Format of the course

• Part lecture, part discussion, exercises and heavy hands-on practice

Many real world problems can be described in terms of graphs. For example, the Web graph, the social network graph, the train network graph and the language graph. These graphs tend to be extremely large; processing them requires a specialized set of tools and processes -- these tools and processes can be referred to as Graph Computing (also known as Graph Analytics).

In this instructor-led, live training, participants will learn about the technology offerings and implementation approaches for processing graph data. The aim is to identify real-world objects, their characteristics and relationships, then model these relationships and process them as data using a Graph Computing (also known as Graph Analytics and Distributed Graph Processing) approach. We start with a broad overview and narrow in on specific tools as we step through a series of case studies, hands-on exercises and live deployments.

By the end of this training, participants will be able to:

• Understand how graph data is persisted and traversed.
• Select the best framework for a given task (from graph databases to batch processing frameworks.)
• Implement Hadoop, Spark, GraphX and Pregel to carry out graph computing across many machines in parallel.
• View real-world big data problems in terms of graphs, processes and traversals.

Format of the course

• Part lecture, part discussion, exercises and heavy hands-on practice

This course is aimed at developers and data scientists who wish to understand and implement AI within their applications. Special focus is given to Data Analysis, Distributed AI and NLP.

MLlib是Spark的機器學習（ML）庫。其目標是使實用的機器學習可擴展且簡單。它由常見的學習算法和實用程序組成，包括分類，回歸，聚類，協同過濾，降維，以及低級優化原語和更高級別的管道API。

它分為兩個包：

• spark.mllib包含在RDD之上構建的原始API。

• spark.ml提供了構建在DataFrame之上的更高級API，用於構建ML管道。

聽眾

本課程面向希望利用Apache Spark內置機器庫的工程師和開發人員

Pandas 是一個 Python 包，它提供用於處理結構化（表格、多維、潛在異構）和時間序列數據的數據結構。

這種以講師為主導的香港現場現場培訓針對的是希望使用Modin構建和實現並行計算的數據科學家和開發人員Pandas，以加快數據分析速度。

在培訓結束時，參與者將能夠：

• 設置必要的環境，開始使用Modin大規模開發 Pandas工作流。
• 瞭解Modin的功能、架構和優勢。
• 瞭解Modin、Dask和Ray之間的區別。
• 使用 Modin 更快地執行 Pandas 操作。
• 實現整個 Pandas API 和函數。

這種以講師為主導的香港現場現場培訓針對的是希望使用Pandas通過機器學習進行預測分析的數據科學家。

在培訓結束時，參與者將能夠：

• 在 Python 中執行數據整理。
• 執行機器學習的 ETL 操作。
• 使用 Pandas 建立資料視覺化

這種以講師為主導的香港現場培訓（現場或遠端）針對的是希望將Dask與Python生態系統一起使用以構建，擴展和分析大型數據集的數據科學家和軟體工程師。

在培訓結束時，參與者將能夠：

• 設置環境以開始使用 Dask 和 Python 構建大數據處理。
• 探索 Dask 中提供的功能、庫、工具和 API。
• 瞭解 Dask 如何在 Python 中加速並行計算。
• 瞭解如何使用 Dask 擴展 Python 生態系統（Numpy、SciPy 和 Pandas）。
• 優化 Dask 環境，以保持處理大型數據集的高性能。

這種以講師為主導的現場培訓（現場或遠端）面向希望使用FARM（FastAPI，React和MongoDB）堆棧構建動態，高性能和可擴展Web應用程式的開發人員。

在培訓結束時，參與者將能夠：

設置整合 FastAPI、React 和 MongoDB 的必要開發環境。 瞭解 FARM 堆疊的關鍵概念、功能和優勢。 瞭解如何使用FastAPI構建REST API。 瞭解如何使用 React 設計互動式應用程式。 使用 FARM 堆疊開發、測試和部署應用程式（前端和後端）。

這種以講師為主導的香港現場培訓（現場或遠端）面向希望將FastAPI與Python一起使用以更輕鬆，更快速地構建，測試和部署RESTful API的開發人員。

在培訓結束時，參與者將能夠：

• 設置必要的開發環境以使用 Python 和 FastAPI 開發 API。
• 使用 FastAPI 庫更快、更輕鬆地創建 API。
• 瞭解如何基於 Pydantic 和 OpenAPI 建立數據模型和架構。
• 使用 SQLAlchemy 將 API 連接到資料庫。
• 使用 FastAPI 工具在 API 中實現安全性和身份驗證。
• 構建容器鏡像並將 Web API 部署到雲端伺服器。

這種以講師為主導的香港現場現場培訓面向希望使用SciPy使用Python創建高級科學計算功能的開發人員。

在培訓結束時，參與者將能夠：

• 設置必要的開發環境，開始創建科學計算功能。
• 通過執行複雜操作的實際範例，獲得 SciPy 功能的全部優勢。
• 實現和優化數學演算法和函數以解決科學問題。
• 設計用於可視化、處理和分析的數據結構和插值方法。

這種以講師為主導的香港現場培訓（現場或遠端）針對希望使用PyGame使用Python程式設計創建和構建遊戲的開發人員。

在培訓結束時，參與者將能夠：

• 設置必要的開發環境，開始使用 PyGame 和 Python 建立遊戲應用程式。
• 瞭解如何創建與動畫和多媒體功能集成的互動式 PyGame 應用程式。
• 使用 PyGame 測試套件運行和測試遊戲程式，並將它們轉換為可執行檔。

本實踐課程面向希望創建和維護其第一個Web應用程序的Python開發人員。它也適用於已經熟悉其他Web框架（如Django或Web2py ，並希望了解如何使用微框架（即將第三方庫粘合在一起而不是提供自包含的通用解決方案的框架）更改這個過程。

本課程的一個重要部分不是專注於Flask本身（它很小），而是專注於Flask項目中經常使用的第三方庫和工具。

這種由講師指導的香港現場培訓（現場或遠端）針對的是希望使用Flask的高級功能在MongoDB之上構建可擴展Web應用程式的開發人員。

在培訓結束時，參與者將能夠：

• 設置必要的開發環境以開始使用 Flask 開發 Web 應用程式。
• 瞭解實際 Flask 專案的高級概念和技術。
• 在 MongoDB 之上構建一個 RESTful API 伺服器。
• 瞭解如何使用 Flask、Docker 和 Amazon EC2 容器化、測試和部署微服務。
• 深入瞭解用於擴展 Web 應用程式的高級 Flask 集成。

這種以講師為主導的香港 現場現場培訓面向希望使用Python和Flask構建 REST API的後端 開發人員。

在培訓結束時，參與者將能夠：

• 實現 REST API，以允許 Flask Web 應用程式讀取和寫入後端中的資料庫。
• 開發高級身份驗證功能，如刷新令牌。
• 為將來的 Python 項目構建可重用的後端。
• 使用 SQLAlchemy 簡化數據存儲。
• 將 REST API 部署到基於雲端的伺服器上。