高級 Hadoop 開發者指南（四天）培訓

受众：

本课程面向希望在分布式系统环境中存储和处理大规模数据集的IT专业人员。

Goal：

深入了解Hadoop集群管理。

大數據分析涉及檢查大量多樣化數據集的過程，以揭示相關性、隱藏模式和其他有用的見解。

健康行業擁有大量複雜的異構醫療和臨牀數據。將大數據分析應用於健康數據，在改善醫療保健服務方面具有巨大潛力。然而，這些數據集的龐大規模對分析和在臨牀環境中的實際應用提出了巨大挑戰。

在這個由講師指導的遠程培訓中，學員將通過一系列實踐操作練習，學習如何在健康領域進行大數據分析。

培訓結束後，學員將能夠：

• 安裝和配置大數據分析工具，如Hadoop MapReduce和Spark
• 理解醫療數據的特徵
• 應用大數據技術處理醫療數據
• 在健康應用的背景下研究大數據系統和算法

受衆

• 開發者
• 數據科學家

課程形式

• 部分講座，部分討論，練習和大量實踐操作。

注意

• 如需爲本課程定製培訓，請聯繫我們安排。

本課程專為IT專業人士設計，他們正在尋找在分散式系統環境中儲存和處理大數據集的解決方案。

課程目標：

獲取有關Hadoop集群管理的知識

Apache Hadoop 是最流行的用于在服务器集群上处理 Big Data 的框架。在这个为期三（可选四）天的课程中，学员将了解 Hadoop 及其生态系统的商业优势和用例，如何规划集群的部署和扩展，如何安装、维护、监控、故障排除和优化 Hadoop。他们还将练习集群批量数据加载，熟悉各种 Hadoop 发行版，并练习安装和管理 Hadoop 生态系统工具。课程最后将讨论如何使用 Kerberos 保护集群。

“……材料准备得非常充分，涵盖全面。实验室非常有帮助且组织有序。” — Andrew Nguyen, 首席集成数据仓库工程师, Microsoft 线上 Advertising

受众

Hadoop 管理员

形式

讲座与动手实验，大致比例为 60% 讲座，40% 实验。

Apache Hadoop是處理大數據最流行的框架，適用於服務器集羣。本課程將向開發者介紹Hadoop生態系統的各種組件（HDFS、MapReduce、Pig、Hive和HBase）。

受众：

本课程旨在揭开大数据/Hadoop技术的神秘面纱，并展示其并非难以理解。

這種由講師指導的香港現場培訓（現場或遠端）針對的是希望學習如何在組織內設置，部署和管理Hadoop集群的系統管理員。

在培訓結束時，參與者將能夠：

• 安裝和配置 Apache Hadoop。
• 瞭解 Hadoop 生態系統中的四個主要元件：HDFS、MapReduce、YARN 和 Hadoop Common。
• 使用 Hadoop 分散式檔案系統 （HDFS） 將集群擴展到數百或數千個節點。  
• 將 HDFS 設定為本地 Spark 部署的記憶體引擎。
• 設置 Spark 以存取替代儲存解決方案，例如 Amazon S3 和 NoSQL 資料庫系統，例如 Redis、Elasticsearch、Couchbase、Aerospike 等。
• 執行管理任務，例如配置、管理、監控和保護 Apache Hadoop 集群。

本課程介紹HBase——一個基於Hadoop的NoSQL存儲系統。本課程面向使用HBase開發應用程序的開發人員，以及管理HBase集羣的管理員。

我們將帶領開發人員瞭解HBase的架構、數據建模以及在HBase上進行應用程序開發。課程還將討論如何將MapReduce與HBase結合使用，以及一些與性能優化相關的管理主題。課程非常注重實踐，包含大量實驗練習。

時長：3天

受衆：開發人員和管理員

Apache NiFi 是一個開源的、基於數據流的數據集成和事件處理平臺。它支持自動化的即時數據路由、轉換和系統中介，通過基於 Web 的用戶界面和細粒度的控制，連接不同的系統。

本次由講師主導的培訓（線下或遠程）面向中級管理員和工程師，旨在幫助他們部署、管理、保護和優化生產環境中的 NiFi 數據流。

培訓結束後，參與者將能夠：

• 安裝、配置和維護 Apache NiFi 集羣。
• 設計和管理來自不同源和目的地的數據流。
• 實現流的自動化、路由和轉換邏輯。
• 優化性能、監控操作並解決問題。

課程形式

• 互動講座，結合實際架構討論。
• 動手實驗：構建、部署和管理數據流。
• 在即時實驗室環境中進行基於場景的練習。

課程定製選項

• 如需定製本課程，請聯繫我們安排。

在這個由講師指導的 香港 現場培訓中，參與者將學習基於流程的程式設計的基礎知識，因為他們使用 Apache NiFi 開發許多演示擴展、元件和處理器。

在培訓結束時，參與者將能夠：

• 瞭解 NiFi 的架構和數據流概念。
• 使用 NiFi 和第三方 API 開發擴展。
• 定製開發自己的Apache Nifi處理器。
• 從不同和不常見的檔格式和數據源中攝取和處理實時數據。

這種以講師為主導的香港現場培訓（現場或遠端）針對希望使用和集成Spark，Hadoop和Python以處理，分析和轉換大型複雜數據集的開發人員。

在培訓結束時，參與者將能夠：

• 設置必要的環境以開始使用 Spark、Hadoop 和 Python 處理大數據。
• 瞭解 Spark 和 Hadoop 的功能、核心元件和架構。
• 瞭解如何集成 Spark、Hadoop 和 Python 進行大數據處理。
• 探索 Spark 生態系統中的工具（Spark MlLib、Spark Streaming、Kafka、Sqoop、Kafka 和 Flume）。
• 構建類似於 Netflix、YouTube、Amazon、Spotify 和 Google 的協作過濾推薦系統。
• 使用 Apache Mahout 擴展機器學習演算法。