香港現場大數據培訓

Stratio 是一個以數據為中心的平台，將大數據、人工智慧和治理整合到單一解決方案中。其 Rocket 和 Intelligence 模組使企業環境中的數據探索、轉換和高級分析變得迅速。

這是一個由講師指導的培訓（線上或線下），針對希望有效使用 Stratio 中 Rocket 和 Intelligence 模組的中級數據專業人員，重點關注循環結構、用戶自定義函數和高級數據邏輯。

在培訓結束時，參與者將能夠：

• 使用 Rocket 和 Intelligence 模組在 Stratio 平台中導航和工作。
• 在數據擷取、轉換和分析的背景下應用 PySpark。
• 使用循環和條件邏輯來控制數據工作流和特徵工程任務。
• 創建和管理用戶自定義函數 (UDFs)，以在 PySpark 中進行可重用的數據操作。

課程形式

• 互動式講座和討論。
• 大量練習和實踐。
• 在實時實驗室環境中進行實踐操作。

課程定制選項

• 如需為此課程請求定制培訓，請聯繫我們安排。

Data Warehousing is the practice of designing, building, and operating centralized data repositories that support analytics, reporting, and decision-making.

This instructor-led, live training (online or onsite) is aimed at intermediate-level data professionals who wish to model dimensional data, build robust ETL pipelines, and optimize analytical workloads.

By the end of this training, participants will be able to:

• Explain core data warehousing concepts and architectures.
• Design dimensional models and choose between star and snowflake schemas.
• Build and orchestrate ETL and ELT pipelines reliably.
• Differentiate OLTP versus OLAP workloads and optimize for analytics.

Format of the Course

• Interactive lecture and discussion.
• Lots of exercises and practice.
• Hands-on implementation in a live-lab environment.

Course Customization Options

• To request a customized training for this course, please contact us to arrange.

在 香港 完成此講師指導的現場培訓的參與者將獲得對 Big Data 及其相關技術、方法和工具的實用、真實理解。

參與者將有機會通過動手練習將這些知識付諸實踐。小組互動和教師反饋構成了課程的重要組成部分。

本課程首先介紹了 Big Data 的基本概念，然後進入用於執行 Data Analysis 的程式設計語言和方法。最後，我們討論了支援 Big Data 存儲、分散式處理和 Scala 特性的工具和基礎設施。

Greenplum 是一個開源的大規模平行處理 (MPP) 數據平台，專為分析和大規模數據環境設計。

這是一個由講師指導的培訓（線上或線下），旨在幫助中級到高級的技術用戶理解 Greenplum 的內部架構，建立優化的數據模型，並在分散式環境中應用高性能 SQL。

在培訓結束時，參與者將能夠：

• 理解 Greenplum 的共享無架構和並行模型。
• 設計優化查詢性能的分散式表結構和分區。
• 使用索引策略、存儲格式和物理設計技術。
• 解釋 EXPLAIN 計劃並使用最佳實踐優化查詢。

課程形式

• 互動式講座和討論。
• 大量練習和實踐。
• 在即時實驗室環境中進行動手實作。

課程定制選項

• 如需為本課程定制培訓，請聯繫我們安排。

Greenplum 是一個基於 PostgreSQL 的開源大規模並行數據平台，專為高級分析和大型數據倉儲設計。

這項由講師指導的培訓（線上或線下）針對中級管理員，旨在幫助他們有效安裝、配置和管理 Greenplum 環境，包括管理系統更新和函式庫。

在培訓結束時，參與者將能夠：

• 安裝和配置生產就緒的 Greenplum 集群。
• 安全地管理系統更新和應用補丁。
• 處理 Greenplum 函式庫管理，用於分析和擴展。
• 排除故障並監控 Greenplum 系統。

課程形式

• 互動式講座和討論。
• 在受控實驗室環境中實際操作 Greenplum。
• 專注於集群設置、升級工作流程和系統擴展的指導練習。

課程定制選項

• 如需根據您的環境或數據平台為本課程定制培訓，請聯繫我們安排。

這種以講師為主導的<現場培訓>（在線或現場）面向希望優化數據處理工作流程、確保數據完整性並實施能夠處理現代大數據應用程式複雜性的強大數據湖倉一體解決方案的高級數據專業人員。

在培訓結束時，參與者將能夠：

• 深入瞭解 Iceberg 的架構，包括元數據管理和文件佈局。
• 配置 Iceberg 以在各種環境中實現最佳性能，並將其與多個數據處理引擎集成。
• 管理大規模 Iceberg 表，執行複雜的架構更改，並處理分區演變。
• 掌握優化大型數據集查詢性能和數據掃描效率的技術。
• 實施機制以確保數據一致性、管理事務保證和處理分散式環境中的故障。

這種以講師為主導的 <>loc（在線或遠端）實時培訓面向希望獲得有效利用 Apache Iceberg 管理大規模數據集、確保數據完整性和優化數據處理工作流程所需的知識和技能的初級數據專業人員。

在培訓結束時，參與者將能夠：

• 全面瞭解 Apache Iceberg 的架構、功能和優勢。
• 瞭解表格式、分區、架構演變和時間旅行功能。
• 在不同的環境中安裝和配置 Apache Iceberg。
• 創建、管理和操作 Iceberg 表。
• 瞭解將數據從其他表格式遷移到 Iceberg 的過程。

這種以講師為主導的 香港（在線或現場）現場培訓面向希望提高數據架構、治理、雲計算和大數據技術技能的中級 IT 專業人員，以有效管理和分析大型數據集以在組織內進行數據遷移。

在培訓結束時，參與者將能夠：

• 瞭解各種數據架構的基本概念和元件。
• 全面了解數據治理原則及其在監管環境中的重要性。
• 實施和管理數據治理框架，例如 Dama 和 Togaf。
• 利用雲端平臺實現高效的數據存儲、處理和管理。

這種由講師指導的 香港（遠端或遠端）實時培訓面向希望瞭解如何使用 Azure Data Lake Storage Gen2 實現有效數據分析解決方案的中級數據工程師。

在培訓結束時，參與者將能夠：

• 瞭解 Azure Data Lake Storage Gen2 的體系結構和主要功能。
• 優化數據存儲和訪問，提高成本和性能。
• 將 Azure Data Lake Storage Gen2 與其他 Azure 服務集成，以進行分析和數據處理。
• 使用 Azure Data Lake Storage Gen2 API 開發解決方案。
• 解決常見問題並優化存儲策略。

Big Data 和高級分析是應用複雜技術和工具來分析大型、複雜數據集，以獲取可操作的洞察和戰略決策支持。

本次由講師指導的培訓（線上或線下）面向高級數據專業人員，旨在幫助他們利用前沿的分析方法和大數據技術進行預測性、規範性和即時性分析。

培訓結束後，參與者將能夠：

• 設計和實施大規模數據處理管道，處理結構化和非結構化數據。
• 將高級機器學習和深度學習技術應用於海量數據集。
• 利用分佈式計算框架進行即時分析和數據流處理。
• 將大數據分析集成到商業智能和決策支持系統中。

課程形式

• 互動式講座和討論。
• 大量練習和實踐。
• 在即時實驗環境中進行動手操作。

課程定製選項

• 如需爲本課程定製培訓，請聯繫我們安排。

這種以講師為主導的香港現場培訓（現場或遠端）面向希望從管理和開發角度全面瞭解IBM DataStage的中級IT專業人員，使他們能夠在各自的工作場所有效地管理和利用此工具。

在培訓結束時，參與者將能夠：

• 瞭解 DataStage 的核心概念。
• 瞭解如何有效地安裝、配置和管理 DataStage 環境。
• 連接到各種數據源，並從資料庫、平面檔和外部源高效提取數據。
• 實施有效的數據載入技術。

這是由講師指導的香港（線上或線下）培訓，針對希望利用Apache Kylin構建即時數據倉庫並對大規模數據集進行多維分析的中級大數據專業人員。

在培訓結束時，參與者將能夠：

• 設置和配置Apache Kylin以處理即時流數據源。
• 設計和構建用於批處理和流數據的OLAP立方體。
• 使用Kylin的SQL界面執行具有亞秒級延遲的複雜查詢。
• 將Kylin與BI工具集成，以實現互動式數據可視化。
• 在Kylin中有效優化性能並管理資源。

參與者在完成此由講師指導的香港線下培訓後，將獲得對Big Data及其相關技術、方法和工具的實際且實用的理解。

參與者將有機會通過動手練習將這些知識應用於實踐。小組互動和講師反饋是課程的重要組成部分。

課程首先介紹Big Data的基本概念，然後進入用於執行Data Analysis的程式語言和方法。最後，我們討論支持Big Data存儲、分散式處理和可擴展性的工具和基礎設施。

在這個由講師指導的 香港 現場培訓中，參與者將學習如何在動手練習中同時使用 Python 和 Spark 來分析大數據。

在培訓結束時，參與者將能夠：

• 瞭解如何將Spark與 Python 結合使用來分析 Big Data。
• 進行模仿真實世界案例的練習。
• 使用 PySpark 使用不同的工具和技術進行大數據分析。

本課程介紹如何從Hive提取數據的人員使用Hive SQL語言（AKA： Hive HQL， Hive SQL ， Hive QL）

此講師指導的香港（線上或線下）培訓課程針對中級數據庫管理員、開發人員和分析師，旨在幫助他們掌握SQL的高級功能，以進行複雜的數據操作和數據庫管理。

培訓結束時，學員將能夠：

• 使用聯合查詢、子查詢和複雜聯接進行高級查詢操作。
• 精確地添加、更新和刪除數據、表、視圖和索引。
• 通過事務確保數據完整性，並操作數據庫結構。
• 高效創建和管理數據庫，實現穩健的數據存儲和檢索。

Dremio 是一個開源的“自助式數據平臺”，可加速不同類型數據源的查詢。Dremio 與關係資料庫、Apache Hadoop、MongoDB、Amazon S3、ElasticSearch 和其他數據源集成。它支援 SQL 並提供用於構建查詢的Web UI。

在這個由講師指導的現場培訓中，參與者將學習如何安裝、配置和使用 Dremio 作為數據分析工具和底層數據存儲庫的統一層。

在本次培訓結束時，參與者將能夠：

• 安裝和配置 Dremio
• 對多個數據源執行查詢，無論位置、大小或結構如何
• 將 Dremio 與 BI 和數據源（如 Tableau 和 Elasticsearch） 集成

觀眾

• 數據科學家
• Business 分析師
• 數據工程師

課程形式

• 部分講座、部分討論、練習和大量動手實踐

筆記

• 要申請本課程的定製培訓，請聯繫我們進行安排。

這種講師指導的現場培訓在 香港（在線或現場）進行，面向希望提高 Oracle SQL 開發和管理技能的中級資料庫專業人員。

在本次培訓結束時，參與者將能夠：

• 構建和優化複雜的 SQL 查詢。
• 使用 Oracle SQL 工具高效管理資料庫。
• 在資料庫開發和維護中應用最佳實踐。
• 在 Oracle 環境中管理使用者訪問和資料庫安全性。

Apache Accumulo 是一種排序的分散式鍵/值存儲，可提供強大、可擴展的數據存儲和檢索。它基於 Google 的 BigTable 的設計，並由 Apache Hadoop、Apache Zookeeper 和 Apache Thrift 提供支援。

這個由講師指導的現場課程涵蓋了 Accumulo 背後的工作原理，並引導參與者在 Apache Accumulo 上完成示例應用程式的開發。

課程形式

• 部分講座，部分討論，動手開發和實施，偶爾測試以評估理解情況

本課程面向希望在其應用程式中理解和實施人工智慧的開發人員和數據科學家。特別關注數據分析、分散式人工智慧和自然語言處理。

Amazon Redshift 是 AWS 中基於雲的 PB 級數據倉庫服務。

在這個由講師指導的現場培訓中，參與者將學習 Amazon Redshift 的基礎知識。

在本次培訓結束時，參與者將能夠：

• 安裝與設定Amazon Redshift
• 使用 Amazon Redshift 載入、配置、部署、查詢和可視化數據

觀眾

• 開發人員
• IT 專業人員

課程形式

• 部分講座、部分討論、練習和大量動手實踐

注意

• 要申請本課程的定製培訓，請聯繫我們進行安排。

技术的进步和信息量的增加正在改变包括政府在内的许多行业的业务开展方式。Go由于移动设备和应用程序、智能传感器和设备、云计算解决方案以及面向公民的门户的快速增长，数据生成和数字归档率正在上升。随着数字信息的扩展和日益复杂，信息管理、处理、存储、安全和处置也变得更加复杂。新的捕获、搜索、发现和分析工具正在帮助组织从其非结构化数据中获得见解。政府市场正处于一个转折点，他们意识到信息是一种战略资产，政府需要保护、利用和分析结构化和非结构化信息，以便更好地服务和满足任务要求。随着政府领导者努力发展数据驱动型组织以成功完成使命，他们正在为关联事件、人员、流程和信息之间的依赖关系奠定基础。

高价值的政府解决方案将由最具颠覆性的技术混合而成：

• 移动设备和应用程序
• 云服务
• 社交商业技术和网络
• Big Data 和分析

IDC 预测，到 2020 年，IT 行业将达到 5 万亿美元，比现在大约 1.7 万亿美元，而该行业 80% 的增长将由这些第三平台技术推动。从长远来看，这些技术将成为处理日益增长的数字信息复杂性的关键工具。Big Data 是智能行业解决方案之一，它允许政府根据分析大量数据（相关和不相关、结构化和非结构化）所揭示的模式采取行动，从而做出更好的决策。

“理解这些大量的Big Data需要尖端的工具和技术，这些工具和技术可以从大量不同的信息流中分析和提取有用的知识，”白宫科技政策办公室的Tom Kalil和Fen Zhao在OSTP博客上的一篇文章中写道。

白宫在2012年建立国家Big Data研究与开发计划（National Big Data Research and Development Initiative）时，在帮助各机构发现这些技术方面迈出了一步。该计划包括超过 2 亿美元，以充分利用 Big Data 的爆炸式增长以及分析它所需的工具。

Big Data 带来的挑战几乎与它的承诺一样令人生畏。高效存储数据是这些挑战之一。与往常一样，预算紧张，因此机构必须最大限度地降低每兆字节的存储价格，并使数据易于访问，以便用户可以在需要时以需要的方式获取数据。备份海量数据加剧了这一挑战。

有效分析数据是另一个重大挑战。许多机构采用商业工具，使他们能够筛选海量数据，发现可以帮助他们更有效地运营的趋势。（MeriTalk 最近的一项研究发现，联邦 IT 高管认为 Big Data 可以帮助机构节省超过 5000 亿美元，同时实现任务目标。

定制开发的 Big Data 工具还使机构能够满足分析其数据的需求。例如，橡树岭国家实验室的计算数据分析小组已将其食人鱼数据分析系统提供给其他机构。该系统帮助医学研究人员找到了一种联系，可以在主动脉瘤发作之前提醒医生注意主动脉瘤。它还用于更平凡的任务，例如筛选简历以将求职者与招聘经理联系起来。

Apache Beam 是一個開源的統一程式設計模型，用於定義和執行並行數據處理管道。它的強大之處在於它能夠同時運行批處理和流式管道，執行由 Beam 支援的分散式處理後端之一執行：Apache Apex、Apache Flink、Apache Spark 和 Google Cloud Dataflow。Apache Beam 對於 ETL（提取、轉換和載入）任務非常有用，例如在不同的存儲介質和數據源之間移動數據、將數據轉換為更理想的格式以及將數據載入到新系統。

在這個由講師指導的現場培訓（現場或遠端）中，參與者將學習如何在 Java 或 Python 應用程式中實施 Apache Beam SDK，該應用程式定義了一個數據處理管道，用於將大數據集分解成更小的塊，以進行獨立的並行處理。

在本次培訓結束時，參與者將能夠：

• 安裝和配置 Apache Beam。
• 使用單個程式設計模型從其 Java 或 Python 應用程式執行批處理和流處理。
• 跨多個環境執行管道。

課程形式

• 部分講座、部分討論、練習和大量動手實踐

注意

• 本課程將在未來提供 Scala。請聯繫我們安排。

第1天 - 提供重要的Big Data主題領域的高級概述。該模塊分為一系列部分，每個部分都附有實踐練習。

第2天 - 探討一系列與Big Data環境相關的分析實踐和工具的主題。它沒有涉及實現或編程細節，而是將概念保持在概念層面，重點放在使參與者能夠全面了解Big Data解決方案提供的常見分析功能和特性的主題上。

第3天 - 概述與Big Data解決方案平台架構相關的基本和必要主題領域。它涵蓋了開發Big Data解決方案平台所需的Big Data機制以及用於組裝數據處理平台的架構選項。還提供了常見方案，以便基本了解Big Data解決方案平台的使用方式。

第4天 - 通過探索與Big Data解決方案平台架構相關的高級主題，在第3天構建。特別是，介紹和討論了構成Big Data解決方案平台的不同架構層，包括數據源，數據入口，數據存儲，數據處理和安全性。

第5天 - 涵蓋了一系列練習和問題，旨在測試代表們應用第3天和第4天所涵蓋主題知識的能力。

在這個以講師為主導的現場培訓中，參與者將學習處理Big Data技術的心態，評估它們對現有過程和政策的影響，並實施這些技術以便識別犯罪活動和預防犯罪。將研究來自全球執法機構的案例研究，以獲取有關其採納方法、挑戰和結果的見解。

培訓結束時，參與者將能夠：

• 在調查中，結合Big Data技術和傳統數據收集過程，拼湊出一個故事。
• 實施工業大數據存儲和處理解決方案進行數據分析。
• 為採納最合適的工具和流程以實現以數據為中心的犯罪調查方法準備一份提案。

Big Data是指用於存儲和處理大型數據集的解決方案。最初由Go ogle開發，這些Big Data解決方案已經發展並啟發了其他類似的項目，其中許多項目都是開源的。 R是金融行業中流行的編程語言。

當傳統存儲技術無法處理您需要存儲的數據量時，就會有大量的替代方案。本課程試圖引導參與者存儲和分析Big Data替代方案以及他們的優缺點。

本課程主要側重於解決方案的討論和介紹，但可根據需要提供動手練習。

該課程是數據科學家技能集（領域：數據和技術）的一部分。

这个基于课堂的培训课程将探索Big Data 。代表们将使用基于计算机的示例和案例研究练习来使用相关的大数据工具

這是一個由講師指導的培訓課程（線上或線下），旨在幫助工程師使用Confluent（Kafka的分發版本）來構建和管理實時數據處理平台，以滿足其應用需求。

在培訓結束時，參與者將能夠：

• 安裝和配置Confluent Platform。
• 使用Confluent的管理工具和服務，更輕鬆地運行Kafka。
• 存儲和處理流入的串流數據。
• 優化和管理Kafka集群。
• 確保數據串流的安全性。

課程形式

• 互動式講座和討論。
• 大量的練習和實踐。
• 在實時實驗室環境中進行動手操作。

課程定制選項

• 本課程基於Confluent的開源版本：Confluent Open Source。
• 如需為本課程定制培訓，請聯繫我們安排。

聽眾

如果您試圖理解您可以訪問或想要分析網絡上可用的非結構化數據（如Twitter，鏈接等等），那麼本課程適合您。

它主要針對決策者和需要選擇哪些數據值得收集以及值得分析的人。

它不是針對人們配置解決方案，但這些人將從大局中受益。

交貨方式

在課程期間，代表們將獲得大多數開源技術的工作示例。

講座後將進行簡短的講座，參加者將進行簡單的練習

使用的內容和軟件

每次運行課程時都會更新所有使用的軟件，因此我們會檢查最新版本。

它涵蓋了從獲取，格式化，處理和分析數據的過程，以解釋如何使用機器學習自動化決策制定過程。

在這個由 香港 講師指導的現場培訓中，參與者將學習如何構建 Data Vault。

在本次培訓結束時，參與者將能夠：

• 瞭解 Data Vault 2.0 背後的架構和設計概念，以及它與 Big Data、NoSQL 和 AI 的交互。
• 使用數據保險庫技術對數據倉庫中的歷史數據進行審計、跟蹤和檢查。
• 開發一致且可重複的 ETL（提取、轉換、載入）流程。
• 構建和部署高度可擴展且可重複的倉庫。

這種由講師指導的 香港 現場培訓（在線或現場）面向希望使用 Denodo 平臺通過數據虛擬化優化和加速數據管理的架構師、開發人員和管理員。

在本次培訓結束時，參與者將能夠：

• 安裝並配置 Denodo 平臺。
• 瞭解 Denodo 平臺的功能和架構。
• 了解數據虛擬化的關鍵概念、優勢和使用案例。
• 瞭解如何配置和管理 Denodo Platform 伺服器。
• 實施數據安全、使用者訪問和服務身份驗證。
• 應用工具和技術進行運營監控和性能優化。

Apache Druid是一個用Java編寫的開源，面向列的分佈式數據存儲。它旨在快速獲取大量事件數據，並對該數據執行低延遲OLAP查詢。德魯伊通常用於商業智能應用程序，以分析大量的實時和歷史數據。它還非常適合為最終用戶提供快速，交互式分析儀表板。德魯伊被阿里巴巴，Airbnb， Cisco ，eBay，Netflix，Paypal和雅虎等公司使用。

在這個由講師指導的實時課程中，我們探討了數據倉庫解決方案的一些局限性，並討論了德魯伊如何能夠補充這些技術以形成靈活且可擴展的流分析堆棧。我們通過許多示例，為參與者提供在實驗室環境中實施和測試基於德魯伊的解決方案的機會。

課程格式

• 部分講座，部分討論，繁重的實踐練習，偶爾的測試來衡量理解

大數據是如此龐大和復雜的數據集，傳統的數據處理應用軟件不足以處理它們。大數據挑戰包括捕獲數據，數據存儲，數據分析，搜索，共享，傳輸，可視化，查詢，更新和信息隱私。

這個由 香港 的講師指導式現場培訓（在線或現場）介紹了分散式流和批處理數據處理背後的原理和方法，並引導參與者在 Apache Flink 中創建實時數據流應用程式。

在本次培訓結束時，參與者將能夠：

• 設置用於開發數據分析應用程式的環境。
• 瞭解 Apache Flink 的 圖形處理庫 （Gelly） 的工作原理。
• 打包、執行和監控基於 Flink 的容錯數據流應用程式。
• 管理各種工作負載。
• 執行高級分析。
• 設置多節點 Flink 集群。
• 衡量和優化性能。
• 將 Flink 與不同的 Big Data 系統集成。
• 將 Flink 功能與其他大數據處理框架的功能進行比較。

在這個由 香港 的講師指導式現場培訓中，參與者將瞭解用於處理圖形數據的技術產品和實施方法。目的是識別現實世界的物件、它們的特徵和關係，然後對這些關係進行建模，並使用 Graph Computing（也稱為圖形分析）方法將它們作為數據處理。我們從廣泛的概述開始，然後逐步完成一系列案例研究、動手練習和即時部署，然後縮小具體工具的範圍。

在本次培訓結束時，參與者將能夠：

• 瞭解如何持久保存和遍歷圖形數據。
• 為給定任務選擇最佳框架（從圖形資料庫到批處理框架）。
• 實現 Hadoop、Spark GraphX 和 Pregel 以跨多台機器並行執行圖計算。
• 從圖形、流程和遍歷的角度查看真實的大數據問題。

這種以講師為主導的香港現場培訓（現場或遠端）針對的是希望設置Greenplum Database商業智慧和數據倉庫解決方案的管理員。

在培訓結束時，參與者將能夠：

• 使用Greenplum滿足加工需求。
• 執行ETL操作進行數據處理。
• 利用現有的查詢處理基礎結構。

這個由講師指導的現場培訓在 香港（在線或現場）介紹 Hortonworks Data Platform (HDP) 並引導參與者完成Spark + Hadoop 解決方案的部署。

在本次培訓結束時，參與者將能夠：

• 使用 Hortonworks 可靠地大規模運行 Hadoop。
• 將 Hadoop 的安全、治理和運營功能與Spark的敏捷分析工作流統一起來。
• 使用 Hortonworks 調查、驗證、認證和支援 Spark 專案中的每個元件。
• 處理不同類型的數據，包括結構化、非結構化、動態和靜態數據。

Cloudera Impala 是適用於 Apache Hadoop 集群的開源大規模並行處理 （MPP） SQL 查詢引擎。

Impala 使用戶能夠 對存儲在 Hadoop 分散式文件系統 和 Apache Hbase 中的數據發出低延遲 SQL 查詢，而無需移動或轉換數據。

觀眾

本課程面向 分析師和數據科學家，他們通過 Business Intelligence 或 SQL 工具對存儲在 Hadoop 中的數據進行分析。

完成本課程后，學員將能夠

• 使用 Impala 從 Hadoop 集群中提取有意義的資訊。
• 編寫特定的程序以促進 Impala SQL 方言的 Business 智慧。
• 故障排除 Impala。

在這個以講師為主導的香港現場培訓（現場或遠端）中，參與者將學習如何設置不同的Stream Processing框架並將其與現有的大數據存儲系統以及相關的軟體應用程式和微服務集成。

在培訓結束時，參與者將能夠：

• 安裝和配置不同的 Stream Processing 框架，例如 Spark Streaming 和 Kafka Streaming。
• 瞭解並選擇最適合工作的框架。
• 以逐條記錄的方式連續、併發地處理數據。
• 將 Stream Processing 解決方案與現有資料庫、數據倉庫、數據湖等集成。
• 將最合適的流處理庫與企業應用程式和微服務集成 。

這種以講師為主導的香港現場培訓（現場或遠端）針對數據工程師，數據科學家和程式師，他們希望在數據流中使用Apache Kafka功能Python。

在本次培訓結束時，參與者將能夠使用 Apache Kafka 通過 Python 程式設計來監控和管理連續數據流中的條件。

Kafka Streams 是一個客戶端庫，用於構建應用程序和微服務，其數據在 Kafka 消息系統之間傳遞。傳統上，Apache Kafka 依賴於 Apache Spark 或 Apache Storm 來處理消息生產者和消費者之間的數據。通過在應用程序中調用 Kafka Streams API，數據可以直接在 Kafka 中進行處理，從而避免了將數據發送到單獨的集群進行處理的需求。

在這場由講師指導的線下培訓中，參與者將學習如何將 Kafka Streams 集成到一組示例 Java 應用程序中，這些應用程序在 Apache Kafka 之間傳遞數據以進行流處理。

在培訓結束時，參與者將能夠：

• 了解 Kafka Streams 的功能及其相較於其他流處理框架的優勢
• 直接在 Kafka 集群中處理流數據
• 編寫與 Kafka 和 Kafka Streams 集成的 Java 或 Scala 應用程序或微服務
• 編寫簡潔的代碼，將輸入的 Kafka 主題轉換為輸出的 Kafka 主題
• 構建、打包並部署應用程序

目標受眾

• 開發人員

課程形式

• 部分講座、部分討論、練習和大量動手實踐

注意事項

• 如需為本課程定制培訓，請聯繫我們安排

這個由 講師指導的 香港 現場培訓（在線或現場）面向希望在不編寫代碼的情況下實現 Apache Kafka 流處理的開發人員。

在本次培訓結束時，參與者將能夠：

• 安裝和配置 Confluent KSQL。
• 僅使用 SQL 命令（無 Java 或 Python 編碼）設置流處理管道。
• 完全在 SQL 中執行數據過濾、轉換、聚合、連接、視窗化和會話化。
• 為流式 ETL 和即時分析設計和部署互動式連續查詢。

This instructor-led, live training in 香港 (online or onsite) is aimed at technical persons who wish to learn how to implement a machine learning strategy while maximizing the use of big data.

By the end of this training, participants will:

• Understand the evolution and trends for machine learning.
• Know how machine learning is being used across different industries.
• Become familiar with the tools, skills and services available to implement machine learning within an organization.
• Understand how machine learning can be used to enhance data mining and analysis.
• Learn what a data middle backend is, and how it is being used by businesses.
• Understand the role that big data and intelligent applications are playing across industries.

在這個以講師為主導的香港現場或遠端培訓中，參與者將學習如何在實時實驗室環境中部署和管理Apache NiFi。

在培訓結束時，參與者將能夠：

• 安裝並配置 Apachi NiFi。
• 從不同的分散式數據源（包括資料庫和大數據湖）中獲取、轉換和管理數據。
• 自動化數據流。
• 啟用流分析。
• 應用各種方法進行數據引入。
• 轉換 Big Data 並轉化為業務洞察。

在這個由講師指導的 香港 現場培訓中，參與者將學習基於流程的程式設計的基礎知識，因為他們使用 Apache NiFi 開發許多演示擴展、元件和處理器。

在培訓結束時，參與者將能夠：

• 瞭解 NiFi 的架構和數據流概念。
• 使用 NiFi 和第三方 API 開發擴展。
• 定製開發自己的Apache Nifi處理器。
• 從不同和不常見的檔格式和數據源中攝取和處理實時數據。

這種以講師為主導的香港現場培訓（現場或遠端）針對希望使用Spark Streaming功能處理和分析即時數據的數據工程師，數據科學家和程式師。

在本次培訓結束時，參與者將能夠使用 Spark Streaming 處理實時數據流，以便在資料庫、文件系統和即時儀錶板中使用。

MLlib是Spark的機器學習（ML）庫。其目標是使實用的機器學習可擴展且簡單。它由常見的學習算法和實用程序組成，包括分類，回歸，聚類，協同過濾，降維，以及低級優化原語和更高級別的管道API。

它分為兩個包：

• spark.mllib包含在RDD之上構建的原始API。

• spark.ml提供了構建在DataFrame之上的更高級API，用於構建ML管道。

聽眾

本課程面向希望利用Apache Spark內置機器庫的工程師和開發人員

這種以講師為主導的香港現場培訓（現場或遠端）針對的是希望部署Talend Open Studio for Big Data以簡化大數據讀取和處理過程的技術人員。

在培訓結束時，參與者將能夠：

• 安裝和配置 Talend Open Studio for Big Data。
• 與 Cloudera、HortonWorks、MapR、Amazon EMR 和 Apache 等大數據系統連接。
• 瞭解並設置Open Studio的大數據元件和連接器。
• 配置參數，自動生成MapReduce代碼。
• 使用 Open Studio 的拖放介面運行 Hadoop 作業。
• 對大數據管道進行原型設計。
• 自動執行大數據集成專案。

此講師指導的即時培訓介紹了互動式數據分析背後的概念，並引導參與者完成在單使用者或多用戶環境中部署和使用 Zeppelin。

在本次培訓結束時，參與者將能夠：

• 安裝和配置 Zeppelin
• 在基於瀏覽器的介面中開發、組織、執行和共享數據
• 在不參考命令行或集群詳細信息的情況下可視化結果
• 在較長的工作流程中執行和協作
• 使用許多外掛程式語言/數據處理後端中的任何一個，例如 Scala（帶 Apache Spark）、Python（帶 Apache Spark）、Spark SQL、JDBC、Markdown 和 Shell。
• 將 Zeppelin 與 Spark、Flink 和 Map Reduce 集成
• 使用 Apache Shiro 保護 Zeppelin 的多用戶實例