IBM Datastage For Administrators and Developers培訓

Data Vault Modeling is a database modeling technique that provides long-term historical storage of data that originates from multiple sources. A data vault stores a single version of the facts, or "all the data, all the time". Its flexible, scalable, consistent and adaptable design encompasses the best aspects of 3rd normal form (3NF) and star schema.

In this instructor-led, live training, participants will learn how to build a Data Vault.

By the end of this training, participants will be able to:

• Understand the architecture and design concepts behind Data Vault 2.0, and its interaction with Big Data, NoSQL and AI.
• Use data vaulting techniques to enable auditing, tracing, and inspection of historical data in a data warehouse.
• Develop a consistent and repeatable ETL (Extract, Transform, Load) process.
• Build and deploy highly scalable and repeatable warehouses.

Format of the course

• Part lecture, part discussion, exercises and heavy hands-on practice

該課程是數據科學家技能集（領域：數據和技術）的一部分。

這種由講師指導的 香港（遠端或遠端）實時培訓面向希望瞭解如何使用 Azure Data Lake Storage Gen2 實現有效數據分析解決方案的中級數據工程師。

在培訓結束時，參與者將能夠：

• 瞭解 Azure Data Lake Storage Gen2 的體系結構和主要功能。
• 優化數據存儲和訪問，提高成本和性能。
• 將 Azure Data Lake Storage Gen2 與其他 Azure 服務集成，以進行分析和數據處理。
• 使用 Azure Data Lake Storage Gen2 API 開發解決方案。
• 解決常見問題並優化存儲策略。

Apache Druid是一個用Java編寫的開源，面向列的分佈式數據存儲。它旨在快速獲取大量事件數據，並對該數據執行低延遲OLAP查詢。德魯伊通常用於商業智能應用程序，以分析大量的實時和歷史數據。它還非常適合為最終用戶提供快速，交互式分析儀表板。德魯伊被阿里巴巴，Airbnb， Cisco ，eBay，Netflix，Paypal和雅虎等公司使用。

在這個由講師指導的實時課程中，我們探討了數據倉庫解決方案的一些局限性，並討論了德魯伊如何能夠補充這些技術以形成靈活且可擴展的流分析堆棧。我們通過許多示例，為參與者提供在實驗室環境中實施和測試基於德魯伊的解決方案的機會。

課程格式

• 部分講座，部分討論，繁重的實踐練習，偶爾的測試來衡量理解

這種以講師為主導的香港現場培訓（現場或遠端）針對的是希望建立多節點Greenplum資料庫的開發人員。

在培訓結束時，參與者將能夠：

• 安裝和配置Pivotal Greenplum。
• 根據當前需求和未來擴展計劃對數據進行建模。
• 執行不同的技術，在多個節點之間分發數據。
• 通過調優提高資料庫性能。
• 對Greenplum資料庫進行監控和故障排除。

這種以講師為主導的香港現場培訓（現場或遠端）針對的是希望設置Greenplum Database商業智慧和數據倉庫解決方案的管理員。

在培訓結束時，參與者將能夠：

• 使用Greenplum滿足加工需求。
• 執行ETL操作進行數據處理。
• 利用現有的查詢處理基礎結構。

Apache Kylin是一種用於大數據的極端分佈式分析引擎。

在這個由講師指導的現場培訓中，參與者將學習如何使用Apache Kylin建立實時數據倉庫。

在培訓結束時，參與者將能夠：

• 使用Kylin消耗實時流數據
• 利用Apache Kylin的強大功能，豐富的SQL界面，火花立方體和亞秒查詢延遲

注意

• 我們使用最新版本的Kylin（截至本文撰寫時， Apache Kylin v2.0）

聽眾

• 大數據工程師
• Big Data分析師

課程形式

• 部分講座，部分討論，練習和繁重的實踐練習

Mem SQL是一個用於雲和內部部署的內存中分佈式SQL數據庫管理系統。它是一個實時數據倉庫，可立即提供實時和歷史數據的洞察力。

在這個由講師指導的實時培訓中，參與者將學習Mem SQL的基本知識，以便進行開發和管理。

在培訓結束時，參與者將能夠：

• 了解Mem SQL的關鍵概念和特徵
• 安裝，設計，維護和操作Mem SQL
• 優化Mem SQL模式
• 改進Mem SQL查詢
• Mem SQL基準性能
• 使用Mem SQL構建實時數據應用程序

聽眾

• 開發商
• 管理員
• 運營工程師

課程形式

• 部分講座，部分討論，練習和繁重的實踐練習

為了滿足監管機構的合規性，CSP（ Communication服務提供商）可以利用大數據分析，這不僅可以幫助他們滿足合規性，而且在同一項目的範圍內，他們可以提高客戶滿意度，從而減少客戶流失。事實上，由於合規性與合同相關的服務質量有關，因此任何實現合規性的舉措都將提高CSP的“競爭優勢”。因此，監管機構應該能夠為監管機構和CSP之間互利的CSP建議/指導一套Big Data分析實踐，這一點非常重要。

該課程包括8個模塊（第1天4個，第2天4個）

技术的进步和信息量的增加正在改变包括政府在内的许多行业的业务开展方式。Go由于移动设备和应用程序、智能传感器和设备、云计算解决方案以及面向公民的门户的快速增长，数据生成和数字归档率正在上升。随着数字信息的扩展和日益复杂，信息管理、处理、存储、安全和处置也变得更加复杂。新的捕获、搜索、发现和分析工具正在帮助组织从其非结构化数据中获得见解。政府市场正处于一个转折点，他们意识到信息是一种战略资产，政府需要保护、利用和分析结构化和非结构化信息，以便更好地服务和满足任务要求。随着政府领导者努力发展数据驱动型组织以成功完成使命，他们正在为关联事件、人员、流程和信息之间的依赖关系奠定基础。

高价值的政府解决方案将由最具颠覆性的技术混合而成：

• 移动设备和应用程序
• 云服务
• 社交商业技术和网络
• Big Data 和分析

IDC 预测，到 2020 年，IT 行业将达到 5 万亿美元，比现在大约 1.7 万亿美元，而该行业 80% 的增长将由这些第三平台技术推动。从长远来看，这些技术将成为处理日益增长的数字信息复杂性的关键工具。Big Data 是智能行业解决方案之一，它允许政府根据分析大量数据（相关和不相关、结构化和非结构化）所揭示的模式采取行动，从而做出更好的决策。

“理解这些大量的Big Data需要尖端的工具和技术，这些工具和技术可以从大量不同的信息流中分析和提取有用的知识，”白宫科技政策办公室的Tom Kalil和Fen Zhao在OSTP博客上的一篇文章中写道。

白宫在2012年建立国家Big Data研究与开发计划（National Big Data Research and Development Initiative）时，在帮助各机构发现这些技术方面迈出了一步。该计划包括超过 2 亿美元，以充分利用 Big Data 的爆炸式增长以及分析它所需的工具。

Big Data 带来的挑战几乎与它的承诺一样令人生畏。高效存储数据是这些挑战之一。与往常一样，预算紧张，因此机构必须最大限度地降低每兆字节的存储价格，并使数据易于访问，以便用户可以在需要时以需要的方式获取数据。备份海量数据加剧了这一挑战。

有效分析数据是另一个重大挑战。许多机构采用商业工具，使他们能够筛选海量数据，发现可以帮助他们更有效地运营的趋势。（MeriTalk 最近的一项研究发现，联邦 IT 高管认为 Big Data 可以帮助机构节省超过 5000 亿美元，同时实现任务目标。

定制开发的 Big Data 工具还使机构能够满足分析其数据的需求。例如，橡树岭国家实验室的计算数据分析小组已将其食人鱼数据分析系统提供给其他机构。该系统帮助医学研究人员找到了一种联系，可以在主动脉瘤发作之前提醒医生注意主动脉瘤。它还用于更平凡的任务，例如筛选简历以将求职者与招聘经理联系起来。

第1天 - 提供重要的Big Data主題領域的高級概述。該模塊分為一系列部分，每個部分都附有實踐練習。

第2天 - 探討一系列與Big Data環境相關的分析實踐和工具的主題。它沒有涉及實現或編程細節，而是將概念保持在概念層面，重點放在使參與者能夠全面了解Big Data解決方案提供的常見分析功能和特性的主題上。

第3天 - 概述與Big Data解決方案平台架構相關的基本和必要主題領域。它涵蓋了開發Big Data解決方案平台所需的Big Data機制以及用於組裝數據處理平台的架構選項。還提供了常見方案，以便基本了解Big Data解決方案平台的使用方式。

第4天 - 通過探索與Big Data解決方案平台架構相關的高級主題，在第3天構建。特別是，介紹和討論了構成Big Data解決方案平台的不同架構層，包括數據源，數據入口，數據存儲，數據處理和安全性。

第5天 - 涵蓋了一系列練習和問題，旨在測試代表們應用第3天和第4天所涵蓋主題知識的能力。

技術的進步和越來越多的信息正在改變執法的方式。 Big Data帶來的挑戰幾乎與Big Data的承諾一樣令人生畏。有效存儲數據是這些挑戰之一;有效地分析它是另一回事。

在以講師為主導的現場培訓中，參與者將學習處理Big Data技術的思維方式，評估其對現有流程和政策的影響，並實施這些技術，以識別犯罪活動和預防犯罪。將審查世界各地執法組織的案例研究，以深入了解其採用方法，挑戰和結果。

在培訓結束時，參與者將能夠：

• 將Big Data技術與傳統的數據收集流程相結合，在調查過程中拼湊出一個故事
• 實施工業大數據存儲和處理數據分析解決方案
• 準備一份提案，以採用最適當的工具和程序，使數據驅動的方法能夠進行刑事調查

聽眾

• 具有技術背景的執法專家

課程形式

• 部分講座，部分討論，練習和繁重的實踐練習

Big Data是指用於存儲和處理大型數據集的解決方案。最初由Go ogle開發，這些Big Data解決方案已經發展並啟發了其他類似的項目，其中許多項目都是開源的。 R是金融行業中流行的編程語言。

當傳統存儲技術無法處理您需要存儲的數據量時，就會有大量的替代方案。本課程試圖引導參與者存儲和分析Big Data替代方案以及他們的優缺點。

本課程主要側重於解決方案的討論和介紹，但可根據需要提供動手練習。