Talend大數據集成培訓

本課程爲講師指導的培訓，在香港（線上或線下）進行，面向希望使用Google Colab和Apache Spark進行大數據處理和分析的中級數據科學家和工程師。

通過本課程，學員將能夠：

• 使用Google Colab和Spark搭建大數據環境。
• 利用Apache Spark高效處理和分析大型數據集。
• 在協作環境中可視化大數據。
• 將Apache Spark與基於雲的工具集成。

Apache Hadoop 是最流行的用于在服务器集群上处理 Big Data 的框架。在这个为期三（可选四）天的课程中，学员将了解 Hadoop 及其生态系统的商业优势和用例，如何规划集群的部署和扩展，如何安装、维护、监控、故障排除和优化 Hadoop。他们还将练习集群批量数据加载，熟悉各种 Hadoop 发行版，并练习安装和管理 Hadoop 生态系统工具。课程最后将讨论如何使用 Kerberos 保护集群。

“……材料准备得非常充分，涵盖全面。实验室非常有帮助且组织有序。” — Andrew Nguyen, 首席集成数据仓库工程师, Microsoft 线上 Advertising

受众

Hadoop 管理员

形式

讲座与动手实验，大致比例为 60% 讲座，40% 实验。

Apache NiFi 是一個開源的、基於數據流的數據集成和事件處理平臺。它支持自動化的即時數據路由、轉換和系統中介，通過基於 Web 的用戶界面和細粒度的控制，連接不同的系統。

本次由講師主導的培訓（線下或遠程）面向中級管理員和工程師，旨在幫助他們部署、管理、保護和優化生產環境中的 NiFi 數據流。

培訓結束後，參與者將能夠：

• 安裝、配置和維護 Apache NiFi 集羣。
• 設計和管理來自不同源和目的地的數據流。
• 實現流的自動化、路由和轉換邏輯。
• 優化性能、監控操作並解決問題。

課程形式

• 互動講座，結合實際架構討論。
• 動手實驗：構建、部署和管理數據流。
• 在即時實驗室環境中進行基於場景的練習。

課程定製選項

• 如需定製本課程，請聯繫我們安排。

在這個由講師指導的 香港 現場培訓中，參與者將學習基於流程的程式設計的基礎知識，因為他們使用 Apache NiFi 開發許多演示擴展、元件和處理器。

在培訓結束時，參與者將能夠：

• 瞭解 NiFi 的架構和數據流概念。
• 使用 NiFi 和第三方 API 開發擴展。
• 定製開發自己的Apache Nifi處理器。
• 從不同和不常見的檔格式和數據源中攝取和處理實時數據。

本培訓提供了一個實用的入門指南，介紹如何使用PySpark構建可擴展的數據處理和機器學習工作流。參與者將學習Apache Spark在現代大數據生態系統中的運作方式，以及如何利用分佈式計算原理高效處理大規模數據集。

這種以講師為主導的香港現場培訓（現場或遠端）針對的是希望建立和部署Apache Spark系統以處理大量數據的工程師。

在培訓結束時，參與者將能夠：

• 安裝和配置 Apache Spark。
• 快速處理和分析非常大的數據集。
• 瞭解Apache Spark和Hadoop MapReduce之間的區別，以及何時使用哪個。
• 將 Apache Spark 與其他機器學習工具整合。

這種由講師指導的現場培訓香港（遠端或遠端）面向希望部署、維護和優化Spark集群的初級到中級系統管理員。

在培訓結束時，參與者將能夠：

• 在各種環境中安裝和配置 Apache Spark。
• 管理群集資源並監視Spark應用程式。
• 優化Spark集群性能。
• 實施安全措施並確保高可用性。
• 調試和排查常見的Spark問題。

Apache Spark的學習曲線在開始時較爲平緩，但需要付出大量努力才能獲得初步回報。本課程旨在幫助學員跳過最初的學習難關。完成本課程後，學員將掌握Apache Spark的基礎知識，能夠清晰區分RDD與DataFrame，學習Python和Scala API，理解執行器和任務等。此外，課程還將遵循最佳實踐，重點關注雲部署、Databricks和AWS。學員還將瞭解AWS EMR與AWS Glue之間的區別，後者是AWS最新的Spark服務之一。

受衆：

數據工程師、DevOps、數據科學家

目標：

本課程將介紹Apache Spark。學員將瞭解Spark如何融入大數據生態系統，以及如何使用Spark進行數據分析。課程涵蓋Spark shell的交互式數據分析、Spark內部機制、Spark API、Spark SQL、Spark流處理、機器學習和GraphX。

受衆：

開發者/數據分析師

這種由 講師指導的 香港 現場培訓（在線或現場）面向希望使用 Spark NLP（基於 Apache Spark 構建）來開發、實施和擴展自然語言文本處理模型和管道的數據科學家和開發人員。

在本次培訓結束時，參與者將能夠：

• 設置必要的開發環境以開始使用 Spark NLP 構建 NLP 管道。
• 瞭解使用 Spark NLP 的功能、架構和優勢。
• 使用 Spark NLP 中提供的預訓練模型來實現文本處理。
• 瞭解如何為生產級項目構建、訓練和擴展 Spark NLP 模型。
• 對實際使用案例（臨床數據、客戶行為洞察等）應用分類、推理和情緒分析。

在這個由講師指導的 香港 現場培訓中，參與者將學習如何在動手練習中同時使用 Python 和 Spark 來分析大數據。

在培訓結束時，參與者將能夠：

• 瞭解如何將Spark與 Python 結合使用來分析 Big Data。
• 進行模仿真實世界案例的練習。
• 使用 PySpark 使用不同的工具和技術進行大數據分析。

這種以講師為主導的香港現場培訓（現場或遠端）針對希望使用和集成Spark，Hadoop和Python以處理，分析和轉換大型複雜數據集的開發人員。

在培訓結束時，參與者將能夠：

• 設置必要的環境以開始使用 Spark、Hadoop 和 Python 處理大數據。
• 瞭解 Spark 和 Hadoop 的功能、核心元件和架構。
• 瞭解如何集成 Spark、Hadoop 和 Python 進行大數據處理。
• 探索 Spark 生態系統中的工具（Spark MlLib、Spark Streaming、Kafka、Sqoop、Kafka 和 Flume）。
• 構建類似於 Netflix、YouTube、Amazon、Spotify 和 Google 的協作過濾推薦系統。
• 使用 Apache Mahout 擴展機器學習演算法。

Spark SQL 是 Apache Spark 中用於處理結構化和非結構化數據的模塊。Spark SQL 提供了關於數據結構以及正在執行的計算的信息。這些信息可用於執行優化。Spark SQL 的兩個常見用途是：
- 執行 SQL 查詢。
- 從現有的 Hive 安裝中讀取數據。

在這個由講師指導的線下或遠程培訓中，參與者將學習如何使用 Spark SQL 分析各種類型的數據集。

培訓結束時，參與者將能夠：

• 安裝和配置 Spark SQL。
• 使用 Spark SQL 進行數據分析。
• 查詢不同格式的數據集。
• 可視化數據和查詢結果。

課程形式

• 互動講座和討論。
• 大量練習和實踐。
• 在即時實驗室環境中進行實際操作。

課程定製選項

• 如需爲此課程定製培訓，請聯繫我們安排。

Stratio是一個以數據爲中心的平臺，集成了大數據、人工智能和治理功能，提供一體化解決方案。其Rocket和Intelligence模塊支持在企業環境中快速進行數據探索、轉換和高級分析。

本次由講師指導的培訓（線上或線下）面向中級數據專業人員，旨在幫助他們有效使用Stratio中的Rocket和Intelligence模塊與PySpark，重點涵蓋循環結構、用戶自定義函數和高級數據邏輯。

培訓結束後，參與者將能夠：

• 在Stratio平臺中導航並使用Rocket和Intelligence模塊。
• 在數據攝取、轉換和分析中應用PySpark。
• 使用循環和條件邏輯控制數據工作流和特徵工程任務。
• 創建並管理用戶自定義函數（UDFs），以在PySpark中實現可重用的數據操作。

課程形式

• 互動式講座與討論。
• 大量練習與實踐。
• 在即時實驗室環境中進行動手操作。

課程定製選項

• 如需爲本課程定製培訓，請聯繫我們安排。