聯繫我們
 課程時長 21 時間:

課程簡介

NiFi 與數據流基礎

  • 動態數據與靜態數據:概念與挑戰
  • NiFi 架構:核心、流程控制器、來源追蹤與公告
  • 關鍵元件:處理器、連線、控制器與來源追蹤

大數據情境與整合

  • NiFi 在大數據生態系統中的角色(Hadoop、Kafka、雲端儲存)
  • HDFS、MapReduce 與現代替代方案概覽
  • 使用案例:串流擷取、日誌傳輸、事件管線

安裝、設定與叢集建置

  • 於單一節點與叢集模式安裝 NiFi
  • 叢集設定:節點角色、zookeeper 與負載平衡
  • 協調 NiFi 部署:使用 Ansible、Docker 或 Helm

設計與管理數據流

  • 路由、過濾、分割、合併流程
  • 處理器設定(InvokeHTTP、QueryRecord、PutDatabaseRecord 等)
  • 處理結構描述、豐富化與轉換作業
  • 錯誤處理、重試關係與背壓

整合情境

  • 連接資料庫、訊息系統、REST API
  • 串流至分析系統:Kafka、Elasticsearch 或雲端儲存
  • 與 Splunk、Prometheus 或日誌管線整合

監控、復原與來源追蹤

  • 使用 NiFi 介面、指標與來源追蹤視覺化工具
  • 設計自主復原與優雅的失敗處理
  • 備份、流程版本控管與應變管理

效能調校與最佳化

  • 調校 JVM、堆積、執行緒池與叢集參數
  • 最佳化流程設計以減少瓶頸
  • 資源隔離、流程優先順序與吞吐量控制

最佳實務與治理

  • 流程文件、命名標準、模組化設計
  • 安全性:TLS、驗證、存取控制、數據加密
  • 變更控制、版本控管、角色型存取、稽核軌跡

疑難排解與事件回應

  • 常見問題:死結、記憶體洩漏、處理器錯誤
  • 日誌分析、錯誤診斷與根本原因調查
  • 復原策略與流程回滾

實作實驗室:實務數據管線實作

  • 建置端對端流程:擷取、轉換、傳遞
  • 實作錯誤處理、背壓與擴展
  • 對管線進行效能測試與調校

總結與後續步驟

最低要求

  • 具備 Linux 命令列操作經驗
  • 對網路與數據系統有基本了解
  • 曾接觸數據串流或 ETL 概念

目標受眾

  • 系統管理員
  • 數據工程師
  • 開發人員
  • DevOps 專業人員

人數


每位參與者的報價

客戶評論 (7)

即將到來的課程

課程分類