Alluxio: Unifying Disparate Storage Systems培訓

Python is a high-level programming language famous for its clear syntax and code readibility. Spark is a data processing engine used in querying, analyzing, and transforming big data. PySpark allows users to interface Spark with Python.

In this instructor-led, live training, participants will learn how to use Python and Spark together to analyze big data as they work on hands-on exercises.

By the end of this training, participants will be able to:

• Learn how to use Spark with Python to analyze Big Data.
• Work on exercises that mimic real world cases.
• Use different tools and techniques for big data analysis using PySpark.

Format of the course

• Part lecture, part discussion, exercises and heavy hands-on practice

Many real world problems can be described in terms of graphs. For example, the Web graph, the social network graph, the train network graph and the language graph. These graphs tend to be extremely large; processing them requires a specialized set of tools and processes -- these tools and processes can be referred to as Graph Computing (also known as Graph Analytics).

In this instructor-led, live training, participants will learn about the technology offerings and implementation approaches for processing graph data. The aim is to identify real-world objects, their characteristics and relationships, then model these relationships and process them as data using a Graph Computing (also known as Graph Analytics and Distributed Graph Processing) approach. We start with a broad overview and narrow in on specific tools as we step through a series of case studies, hands-on exercises and live deployments.

By the end of this training, participants will be able to:

• Understand how graph data is persisted and traversed.
• Select the best framework for a given task (from graph databases to batch processing frameworks.)
• Implement Hadoop, Spark, GraphX and Pregel to carry out graph computing across many machines in parallel.
• View real-world big data problems in terms of graphs, processes and traversals.

Format of the course

• Part lecture, part discussion, exercises and heavy hands-on practice

This course is aimed at developers and data scientists who wish to understand and implement AI within their applications. Special focus is given to Data Analysis, Distributed AI and NLP.

MLlib是Spark的機器學習（ML）庫。其目標是使實用的機器學習可擴展且簡單。它由常見的學習算法和實用程序組成，包括分類，回歸，聚類，協同過濾，降維，以及低級優化原語和更高級別的管道API。

它分為兩個包：

• spark.mllib包含在RDD之上構建的原始API。

• spark.ml提供了構建在DataFrame之上的更高級API，用於構建ML管道。

聽眾

本課程面向希望利用Apache Spark內置機器庫的工程師和開發人員

這個由講師指導的香港現場培訓（現場或遠端）介紹了Hortonworks Data Platform (HDP)，並引導參與者完成Spark + Hadoop解決方案的部署。

在培訓結束時，參與者將能夠：

使用 Hortonworks 大規模可靠地運行 Hadoop。 將 Hadoop 的安全、治理和運營功能與Spark的敏捷分析工作流統一起來。 使用 Hortonworks 調查、驗證、認證和支援 Spark 專案中的每個元件。 處理不同類型的數據，包括結構化、非結構化、動態和靜態數據。

Apache Ambari是一個開源管理平台，用於配置，管理，監控和保護Apache Hadoop集群。

在這個由講師指導的實時培訓中，參與者將學習Ambari提供的管理工具和實踐，以成功管理Hadoop集群。

在培訓結束時，參與者將能夠：

• 使用Ambari設置實時Big Data集群
• 將Ambari的高級功能和功能應用於各種用例
• 根據需要無縫添加和刪除節點
• 通過調整和調整來改善Hadoop集群的性能

聽眾

• DevOps
• 系統管理員
• 數據庫管理員
• Hadoop測試專業人士

課程形式

• 部分講座，部分討論，練習和繁重的實踐練習

Cloudera Impala 是一個用於 Apache Hadoop 集群的開源大規模並行處理 （MPP） SQL 查詢引擎。

Impala 使用戶能夠 對存儲在 Hadoop 分散式文件系統 和 Apache Hbase 中的數據發出低延遲 SQL 查詢，而無需數據移動或轉換。

觀眾

本課程面向分析師和數據科學家，通過 商業智慧或SQL工具對 存儲在Hadoop中的數據進行分析。

完成本課程后，代表們將能夠

• 使用 Impala 從 Hadoop 集群中提取有意義的資訊。
• 編寫特定的程式，以促進斑羚SQL方言的商業智慧。
• 排查黑斑羚問題。

本課程介紹如何從Hive提取數據的人員使用Hive SQL語言（AKA： Hive HQL， Hive SQL ， Hive QL）

大數據分析涉及檢查大量不同數據集的過程，以便發現相關性，隱藏模式和其他有用的見解。

健康產業擁有大量複雜的異構醫學和臨床數據。對健康數據應用大數據分析在獲得改善醫療保健服務的見解方面具有巨大潛力。然而，這些數據集的巨大性給分析和臨床環境的實際應用帶來了巨大挑戰。

在這個以講師為主導的現場培訓（遠程）中，參與者將學習如何在健康狀況下進行大數據分析，因為他們將逐步進行一系列動手實踐練習。

在培訓結束時，參與者將能夠：

• 安裝和配置大數據分析工具，如Hadoop MapReduce和Spark
• 了解醫療數據的特徵
• 應用大數據技術處理醫療數據
• 在健康應用的背景下研究大數據系統和算法

聽眾

• 開發商
• 數據科學家

課程格式

• 部分講座，部分討論，練習和繁重的實踐練習。

注意

• 要申請本課程的定制培訓，請聯繫我們安排。

這種由講師指導的香港現場培訓（現場或遠端）針對的是希望學習如何在組織內設置，部署和管理Hadoop集群的系統管理員。

在培訓結束時，參與者將能夠：

• 安裝和配置 Apache Hadoop。
• 瞭解 Hadoop 生態系統中的四個主要元件：HDFS、MapReduce、YARN 和 Hadoop Common。
• 使用 Hadoop 分散式檔案系統 （HDFS） 將集群擴展到數百或數千個節點。  
• 將 HDFS 設定為本地 Spark 部署的記憶體引擎。
• 設置 Spark 以存取替代儲存解決方案，例如 Amazon S3 和 NoSQL 資料庫系統，例如 Redis、Elasticsearch、Couchbase、Aerospike 等。
• 執行管理任務，例如配置、管理、監控和保護 Apache Hadoop 集群。

在這個以講師為主導的香港現場培訓（現場或遠端）中，參與者將學習如何設置不同的Stream Processing框架並將其與現有的大數據存儲系統以及相關的軟體應用程式和微服務集成。

在培訓結束時，參與者將能夠：

• 安裝和配置不同的 Stream Processing 框架，例如 Spark Streaming 和 Kafka Streaming。
• 瞭解並選擇最適合工作的框架。
• 以逐條記錄的方式連續、併發地處理數據。
• 將 Stream Processing 解決方案與現有資料庫、數據倉庫、數據湖等集成。
• 將最合適的流處理庫與企業應用程式和微服務集成 。

這種以講師為主導的香港 現場現場培訓針對希望在其.NET應用程式中使用Apache Spark進行 大數據分析的開發人員。

在培訓結束時，參與者將能夠：

• 安裝和配置 Apache Spark。
• 瞭解 .NET 如何實現Spark API，以便可以從 .NET 應用程式存取它們。
• 使用 C# 或 F# 開發資料處理應用程式，能夠處理大小以 TB 和 PB 為單位的數據集。
• 使用 Apache Spark 功能為 .NET 應用程式開發機器學習功能。
• 使用 SQL 查詢對大數據集進行探索性分析。

這種以講師為主導的香港現場現場培訓針對的是希望使用SMACK堆棧為大數據解決方案構建數據處理平臺的數據科學家。

在培訓結束時，參與者將能夠：

• 實施用於處理大數據的數據管道體系結構。
• 使用 Apache Mesos 和 Docker 開發集群基礎架構。
• 使用 Spark 和 Scala 分析數據。
• 使用 Apache Cassandra 管理非結構化數據。