Sqoop and Flume for Big Data培訓

Data Vault Modeling is a database modeling technique that provides long-term historical storage of data that originates from multiple sources. A data vault stores a single version of the facts, or "all the data, all the time". Its flexible, scalable, consistent and adaptable design encompasses the best aspects of 3rd normal form (3NF) and star schema.

In this instructor-led, live training, participants will learn how to build a Data Vault.

By the end of this training, participants will be able to:

• Understand the architecture and design concepts behind Data Vault 2.0, and its interaction with Big Data, NoSQL and AI.
• Use data vaulting techniques to enable auditing, tracing, and inspection of historical data in a data warehouse.
• Develop a consistent and repeatable ETL (Extract, Transform, Load) process.
• Build and deploy highly scalable and repeatable warehouses.

Format of the course

• Part lecture, part discussion, exercises and heavy hands-on practice

這種由講師指導的香港現場現場培訓針對的是希望使用Spark Streaming功能處理和分析即時數據的數據工程師，數據科學家和程式師。

在培訓結束時，參與者將能夠使用 Spark Streaming 處理實時數據流，以便在資料庫、文件系統和即時儀錶板中使用。

這種以講師為主導的香港現場培訓（現場或遠端）針對的是希望在不編寫代碼的情況下實現Apache Kafka流處理的開發人員。

在培訓結束時，參與者將能夠：

• 安裝和配置 Confluent KSQL。
• 僅使用 SQL 命令（不使用 Java 或 Python 編碼）設置流處理管道。
• 完全在 SQL 中執行資料過濾、轉換、聚合、聯接、視窗化和會話化。
• 設計和部署互動式連續查詢，用於流式 ETL 和即時分析。

這種由講師指導的香港現場現場培訓面向希望在逐步創建示例記憶體計算專案時學習持久性和純記憶體存儲背後的原理的開發人員。

在培訓結束時，參與者將能夠：

使用 Ignite 實現記憶體中、磁碟上的持久性以及純分散式記憶體中資料庫。 在不將數據同步回關係資料庫的情況下實現持久性。 使用 Ignite 執行 SQL 和分散式聯接。 通過使用 RAM 作為存儲，將數據移動到更靠近 CPU 的位置來提高性能。 將數據集分佈在集群中，以實現水準可擴展性。 將 Ignite 與 RDBMS、NoSQL、Hadoop 和機器學習處理器集成。

Apache Beam是一個開源的統一編程模型，用于定義和執行並行數據處理管道。它的強大之處在于它能夠同時運行批處理流和流式管道，並且由Beam支持的分布式處理後端之一執行：Apache Apex，Apache Flink，Apache Spark和Google Cloud Dataflow。 Apache Beam可用于ETL（提取，轉換和加載）任務，如在不同存儲介質和數據源之間移動數據，將數據轉換爲更理想的格式以及將數據加載到新系統中。 在這個有指導意義的現場培訓（現場或遠程）中，參與者將學習如何在Java或Python應用程序中實現Apache Beam SDK，該應用程序定義了一個數據處理管道，用于將大數據集分解爲更小的塊，以進行獨立的並行處理。 在培訓結束後，參與者將能夠： 安裝並配置Apache Beam。 使用單一編程模型來執行批處理和流處理，而不是使用其Java或Python應用程序。 在多個環境中執行管道。 聽衆 開發商 課程的格式 部分講座，部分討論，練習和沈重的練習 注意 此課程將在未來可用于Scala。請聯系我們安排。

Apache Apex是一個統一流和批處理的YARNnative平台。它以可伸縮，高性能，容錯，有狀態，安全，分布式和易于操作的方式處理大型數據移動。 這個有指導性的現場培訓介紹了Apache Apex的統一流處理架構，並向參與者介紹了如何在Hadoop上使用Apex創建分布式應用程序。 在培訓結束後，參與者將能夠： 了解數據處理管道概念，例如源和彙的連接器，通用數據轉換等。 構建，擴展和優化Apex應用程序可靠地處理實時數據流，延遲時間最短使用Apex Core和Apex Malhar庫實現快速應用程序開發使用Apex API來編寫和重用現有的Java代碼將Apex作爲處理引擎集成到其他應用程序中調整，測試和縮放Apex應用程序 聽衆 開發商企業架構師 課程的格式 部分講座，部分討論，練習和沈重的練習

Apache Storm是一個分布式的實時計算引擎，用于實現實時商業智能。它通過使應用程序可靠地處理不受限制的數據流（又名流處理）來實現。 “Storm是爲了實時處理Hadoop用于批處理的！” 在這個有指導性的實時培訓中，參與者將學習如何安裝和配置Apache Storm，然後開發和部署Apache Storm應用程序以實時處理大數據。 本次培訓中包含的一些主題包括： Apache Storm在Hadoop的環境中處理無限數據連續計算實時分析分布式RPC和ETL處理立即申請此課程！ 聽衆 軟件和ETL開發人員大型機專業人員數據科學家大數據分析師 Hadoop專業人員 課程的格式 部分講座，部分討論，練習和沈重的練習

在這個由講師指導的香港現場（現場或遠端）的現場培訓中，參與者將學習如何在現場實驗室環境中部署和管理Apache NiFi。

在培訓結束時，參與者將能夠：

• 安裝和配置 Apachi NiFi。
• 從不同的分散式數據源（包括資料庫和大數據湖）中獲取、轉換和管理數據。
• 自動化數據流。
• 啟用流式分析。
• 應用各種方法進行數據引入。
• 轉換 Big Data 並轉化為業務見解。

在這個由講師指導的香港現場培訓中，參與者將學習基於流程的程式設計的基礎知識，因為他們使用Apache NiFi開發許多演示擴展，元件和處理器。

在培訓結束時，參與者將能夠：

• 瞭解 NiFi 的架構和數據流概念。
• 使用 NiFi 和第三方 API 開發擴展。
• 定製開發自己的Apache Nifi處理器。
• 從不同且不常見的檔案格式和數據源中提取和處理實時數據。

這個由講師指導的香港 現場（遠端或遠端）的現場培訓介紹了分散式流和批處理數據處理背後的原理和方法，並引導參與者在Apache Flink中創建實時數據流應用程式。

在培訓結束時，參與者將能夠：

設置用於開發數據分析應用程式的環境。 瞭解 Apache Flink 的 圖形處理庫 （Gelly） 是如何工作的。 打包、執行和監控基於 Flink 的容錯數據流應用程式。 管理各種工作負載。 執行高級分析。 設置多節點 Flink 集群。 衡量和優化性能。 將 Flink 與不同的 Big Data 系統集成。 將 Flink 的能力與其他大數據處理框架進行比較。

Python is a high-level programming language famous for its clear syntax and code readibility. Spark is a data processing engine used in querying, analyzing, and transforming big data. PySpark allows users to interface Spark with Python.

In this instructor-led, live training, participants will learn how to use Python and Spark together to analyze big data as they work on hands-on exercises.

By the end of this training, participants will be able to:

• Learn how to use Spark with Python to analyze Big Data.
• Work on exercises that mimic real world cases.
• Use different tools and techniques for big data analysis using PySpark.

Format of the course

• Part lecture, part discussion, exercises and heavy hands-on practice

Many real world problems can be described in terms of graphs. For example, the Web graph, the social network graph, the train network graph and the language graph. These graphs tend to be extremely large; processing them requires a specialized set of tools and processes -- these tools and processes can be referred to as Graph Computing (also known as Graph Analytics).

In this instructor-led, live training, participants will learn about the technology offerings and implementation approaches for processing graph data. The aim is to identify real-world objects, their characteristics and relationships, then model these relationships and process them as data using a Graph Computing (also known as Graph Analytics and Distributed Graph Processing) approach. We start with a broad overview and narrow in on specific tools as we step through a series of case studies, hands-on exercises and live deployments.

By the end of this training, participants will be able to:

• Understand how graph data is persisted and traversed.
• Select the best framework for a given task (from graph databases to batch processing frameworks.)
• Implement Hadoop, Spark, GraphX and Pregel to carry out graph computing across many machines in parallel.
• View real-world big data problems in terms of graphs, processes and traversals.

Format of the course

• Part lecture, part discussion, exercises and heavy hands-on practice

This course is aimed at developers and data scientists who wish to understand and implement AI within their applications. Special focus is given to Data Analysis, Distributed AI and NLP.

MLlib是Spark的機器學習（ML）庫。其目標是使實用的機器學習可擴展且簡單。它由常見的學習算法和實用程序組成，包括分類，回歸，聚類，協同過濾，降維，以及低級優化原語和更高級別的管道API。

它分為兩個包：

• spark.mllib包含在RDD之上構建的原始API。

• spark.ml提供了構建在DataFrame之上的更高級API，用於構建ML管道。

聽眾

本課程面向希望利用Apache Spark內置機器庫的工程師和開發人員

數據庫中的知識發現（KDD）是從數據集合中發現有用知識的過程。這種數據挖掘技術的實際應用包括營銷，欺詐檢測，電信和製造。

在這個以講師為主導的實踐課程中，我們介紹了KDD中涉及的過程，並開展了一系列練習來實踐這些過程。

聽眾

• 數據分析師或任何有興趣學習如何解釋數據以解決問題的人

課程格式

• 在對KDD進行理論討論之後，教師將提出真實案例，要求應用KDD來解決問題。參與者將準備，選擇和清理樣本數據集，並使用他們先前的數據知識，根據他們的觀察結果提出解決方案。