Big Data Business Intelligence for Govt. Agencies培訓

每次課程2小時

第一天：第1節：政府大數據商業智慧的业务概览

• NIH、DoE案例研究
• 政府機構的大數據採用率及其如何圍繞大數據預測分析調整未來運作
• 在DoD、NSA、IRS、USDA等領域的廣泛應用範圍
• 大數據與遺留數據的介接
• 預測分析中啟用技術的基本了解
• 數據整合與儀表板視覺化
• 詐欺管理
• 業務規則/詐欺偵測生成
• 威脅偵測與剖析
• 大數據實施的成本效益分析

第一天：第2節：大數據介紹-1

• 大數據的主要特徵：數量、多樣性、速度和真實性。用於數量的MPP架構。
• 數據倉儲 – 靜態模式、緩慢演變的數據集
• MPP資料庫，如Greenplum、Exadata、Teradata、Netezza、Vertica等。
• 基於Hadoop的解決方案 – 對數據集結構無限制。
• 典型模式：HDFS、MapReduce（crunch）、從HDFS檢索
• 批次 – 適合分析/非互動式
• 數量：CEP串流數據
• 典型選擇 – CEP產品（例如Infostreams、Apama、MarkLogic等）
• 較不生產就緒 – Storm/S4
• NoSQL資料庫 –（欄位式和鍵值）：最適合作為數據倉儲/資料庫的分析輔助

第一天：第3節：大數據介紹-2

NoSQL解決方案

• KV儲存 - Keyspace、Flare、SchemaFree、RAMCloud、Oracle NoSQL Database (OnDB)
• KV儲存 - Dynamo、Voldemort、Dynomite、SubRecord、Mo8onDb、DovetailDB
• KV儲存（階層式）- GT.m、Cache
• KV儲存（有序）- TokyoTyrant、Lightcloud、NMDB、Luxio、MemcacheDB、Actord
• KV快取 - Memcached、Repcached、Coherence、Infinispan、EXtremeScale、JBossCache、Velocity、Terracoqua
• 元組儲存 - Gigaspaces、Coord、Apache River
• 物件資料庫 - ZopeDB、DB40、Shoal
• 文件儲存 - CouchDB、Cloudant、Couchbase、MongoDB、Jackrabbit、XML-Databases、ThruDB、CloudKit、Prsevere、Riak-Basho、Scalaris
• 寬欄位儲存 - BigTable、HBase、Apache Cassandra、Hypertable、KAI、OpenNeptune、Qbase、KDI

數據多樣性：大數據數據清理問題簡介

• RDBMS – 靜態結構/模式，不促進敏捷、探索性環境。
• NoSQL – 半結構化，在儲存數據前無需精確模式即可儲存數據的足夠結構
• 數據清理問題

第一天：第4節：大數據介紹-3：Hadoop

• 何時選擇Hadoop？
• 結構化 - 企業數據倉儲/資料庫可以儲存大量數據（有成本），但會強加結構（不利於主動探索）
• 半結構化數據 – 傳統解決方案（DW/DB）難以處理
• 倉儲數據 = 巨大努力且實施後靜態
• 對於數據的多樣性和數量，在商品硬體上處理 – HADOOP
• 創建Hadoop叢集所需的商品H/W

MapReduce/HDFS簡介

• MapReduce – 在多台伺服器上分散計算
• HDFS – 使數據在本地可用於計算過程（具有冗餘）
• 數據 – 可以是非結構化/無模式（不像RDBMS）
• 開發人員有責任理解數據
• 編寫MapReduce = 使用Java（優缺點）、手動將數據載入HDFS

第二天：第1節：大數據生態系統 – 建置大數據ETL：大數據工具宇宙 – 何時使用哪一個？

• Hadoop與其他NoSQL解決方案的比較
• 用於互動式、隨機數據存取
• Hbase（欄位導向資料庫）在Hadoop之上
• 隨機數據存取但有限制（最大1 PB）
• 不適合臨時分析，適合日誌記錄、計數、時間序列
• Sqoop - 從資料庫匯入Hive或HDFS（JDBC/ODBC存取）
• Flume – 將串流數據（例如日誌數據）導入HDFS

第二天：第2節：大數據管理系統

• 移動部件、計算節點啟動/失敗：ZooKeeper – 用於配置/協調/命名服務
• 複雜管道/工作流程：Oozie – 管理工作流程、依賴關係、鏈式
• 部署、配置、叢集管理、升級等（系統管理員）：Ambari
• 雲端中：Whirr

第二天：第3節：商業智慧中的預測分析-1：基本技術與基於機器學習的BI：

• 機器學習簡介
• 學習分類技術
• 貝氏預測 – 準備訓練檔案
• 支援向量機
• KNN p-Tree代數與垂直挖掘
• 神經網路
• 大數據大變量問題 - 隨機森林（RF）
• 大數據自動化問題 – 多模型集成RF
• 透過Soft10-M自動化
• 文本分析工具-Treeminer
• 敏捷學習
• 基於代理的學習
• 分散式學習
• 預測分析開源工具簡介：R、Rapidminer、Mahut

第二天：第4節：預測分析生態系統-2：政府中常見的預測分析問題

• 洞察分析
• 視覺化分析
• 結構化預測分析
• 非結構化預測分析
• 威脅/詐欺者/供應商剖析
• 推薦引擎
• 模式偵測
• 規則/情境發現 – 失敗、詐欺、最佳化
• 根本原因發現
• 情感分析
• CRM分析
• 網路分析
• 文本分析
• 技術輔助審查
• 詐欺分析
• 即時分析

第三天：第1節：Hadoop上的即時和可擴展分析

• 為什麼常見的分析演算法在Hadoop/HDFS中失敗
• Apache Hama – 用於大量同步分散式計算
• Apache SPARK – 用於即時分析的叢集計算
• CMU Graphics Lab2 – 基於圖形的非同步分散式計算方法
• 來自Treeminer的KNN p-代數方法，以降低硬體操作成本

第三天：第2節：eDiscovery和取證工具

• 大數據eDiscovery與遺留數據 – 成本和效能比較
• 預測編碼和技術輔助審查（TAR）
• Tar產品（vMiner）的即時演示，了解TAR如何加速發現
• 透過HDFS加速索引 – 數據速度
• NLP或自然語言處理 – 各種技術和開源產品
• 外語eDiscovery – 外語處理技術

第三天：第3節：網路安全的大數據BI – 了解從快速數據收集到威脅識別的完整360度視圖

• 了解安全分析基礎 – 攻擊面、安全配置錯誤、主機防禦
• 網路基礎設施/大型數據管道/回應ETL以進行即時分析
• 規定性與預測性 – 固定規則與從元數據自動發現威脅規則

第三天：第4節：USDA中的大數據：農業應用

• 農業物聯網（IoT）簡介 – 基於感測器的大數據和控制
• 衛星影像簡介及其在農業中的應用
• 整合感測器和影像數據以進行土壤肥力、種植建議和預測
• 農業保險和大數據
• 作物損失預測

第四天：第1節：政府大數據詐欺預防BI – 詐欺分析：

• 詐欺分析的基本分類 – 基於規則與預測分析
• 監督式與非監督式機器學習用於詐欺模式偵測
• 供應商詐欺/項目超收費用
• 醫療保險和醫療補助詐欺 – 索賠處理的詐欺偵測技術
• 差旅報銷詐欺
• IRS退稅詐欺
• 案例研究和即時演示將在數據可用的地方提供。

第四天：第2節：社交媒體分析 – 情報收集與分析

• 用於提取社交媒體數據的大數據ETL API
• 文本、影像、元數據和影片
• 從社交媒體動態進行情感分析
• 社交媒體動態的情境和非情境過濾
• 社交媒體儀表板以整合多樣化的社交媒體
• 社交媒體個人資料的自動化剖析
• 每個分析的即時演示將透過Treeminer工具提供。

第四天：第3節：影像處理和影片串流中的大數據分析

• 大數據中的影像儲存技術 – 超過PB數據的儲存解決方案
• LTFS和LTO
• GPFS-LTFS（大型影像數據的分層儲存解決方案）
• 影像分析基礎
• 物體辨識
• 影像分割
• 運動追蹤
• 3D影像重建

第四天：第4節：NIH中的大數據應用：

• 生物資訊學的新興領域
• 宏基因組學和大數據挖掘問題
• 藥物基因組學、代謝體學和蛋白質體學的大數據預測分析
• 下游基因組學過程中的大數據
• 公共衛生中大數據預測分析的應用

大數據儀表板以快速存取多樣化數據和顯示：

• 現有應用平台與大數據儀表板的整合
• 大數據管理
• 大數據儀表板案例研究：Tableau和Pentaho
• 使用大數據應用程式在政府中推送基於位置的服務
• 追蹤系統和管理

第五天：第1節：如何在組織內證明大數據BI實施的合理性：

• 定義大數據實施的投資報酬率
• 節省分析師數據收集和準備時間的案例研究 – 生產力提升
• 從節省授權資料庫成本中獲得收入增加的案例研究
• 從基於位置的服務中獲得收入
• 從詐欺預防中節省成本
• 整合的試算表方法，計算大數據實施的大致費用與收入增加/節省。

第五天：第2節：將遺留數據系統替換為大數據系統的逐步程序：

• 了解實際的大數據遷移路線圖
• 在架構大數據實施之前需要哪些重要資訊
• 計算數據數量、速度、多樣性和真實性的不同方法
• 如何估算數據成長
• 案例研究

第五天：第4節：大數據供應商及其產品審查。問答環節：

• Accenture
• APTEAN（前CDC Software）
• Cisco Systems
• Cloudera
• Dell
• EMC
• GoodData Corporation
• Guavus
• Hitachi Data Systems
• Hortonworks
• HP
• IBM
• Informatica
• Intel
• Jaspersoft
• Microsoft
• MongoDB（前10Gen）
• MU Sigma
• Netapp
• Opera Solutions
• Oracle
• Pentaho
• Platfora
• Qliktech
• Quantum
• Rackspace
• Revolution Analytics
• Salesforce
• SAP
• SAS Institute
• Sisense
• Software AG/Terracotta
• Soft10 Automation
• Splunk
• Sqrrl
• Supermicro
• Tableau Software
• Teradata
• Think Big Analytics
• Tidemark Systems
• Treeminer
• VMware（EMC的一部分）