課程簡介
NiFi 與數據流基礎
- 動態數據與靜態數據:概念與挑戰
- NiFi 架構:核心、流程控制器、來源追蹤與公告
- 關鍵元件:處理器、連線、控制器與來源追蹤
大數據情境與整合
- NiFi 在大數據生態系統中的角色(Hadoop、Kafka、雲端儲存)
- HDFS、MapReduce 與現代替代方案概覽
- 使用案例:串流擷取、日誌傳輸、事件管線
安裝、設定與叢集建置
- 於單一節點與叢集模式安裝 NiFi
- 叢集設定:節點角色、zookeeper 與負載平衡
- 協調 NiFi 部署:使用 Ansible、Docker 或 Helm
設計與管理數據流
- 路由、過濾、分割、合併流程
- 處理器設定(InvokeHTTP、QueryRecord、PutDatabaseRecord 等)
- 處理結構描述、豐富化與轉換作業
- 錯誤處理、重試關係與背壓
整合情境
- 連接資料庫、訊息系統、REST API
- 串流至分析系統:Kafka、Elasticsearch 或雲端儲存
- 與 Splunk、Prometheus 或日誌管線整合
監控、復原與來源追蹤
- 使用 NiFi 介面、指標與來源追蹤視覺化工具
- 設計自主復原與優雅的失敗處理
- 備份、流程版本控管與應變管理
效能調校與最佳化
- 調校 JVM、堆積、執行緒池與叢集參數
- 最佳化流程設計以減少瓶頸
- 資源隔離、流程優先順序與吞吐量控制
最佳實務與治理
- 流程文件、命名標準、模組化設計
- 安全性:TLS、驗證、存取控制、數據加密
- 變更控制、版本控管、角色型存取、稽核軌跡
疑難排解與事件回應
- 常見問題:死結、記憶體洩漏、處理器錯誤
- 日誌分析、錯誤診斷與根本原因調查
- 復原策略與流程回滾
實作實驗室:實務數據管線實作
- 建置端對端流程:擷取、轉換、傳遞
- 實作錯誤處理、背壓與擴展
- 對管線進行效能測試與調校
總結與後續步驟
最低要求
- 具備 Linux 命令列操作經驗
- 對網路與數據系統有基本了解
- 曾接觸數據串流或 ETL 概念
目標受眾
- 系統管理員
- 數據工程師
- 開發人員
- DevOps 專業人員
客戶評論 (7)
實踐練習。課程本應爲5天,但3天的學習幫助我解決了在使用NiFi時遇到的許多問題。
James - BHG Financial
課程 - Apache NiFi for Administrators
機器翻譯
我認爲講師的節奏很好。他的教學方法確保沒有學生掉隊。他對我們這些新手非常支持,我們可能在職業生涯中沒有擔任過系統管理員或基礎設施相關的角色,或者需要重新拾起之前職業生涯中的技能。
Pamdrea Ivory - BHG Financial
課程 - Apache NiFi for Administrators
機器翻譯
我喜歡實踐環節。通過完成提供的練習,我更好地記住了信息。此外,培訓師與整個班級的互動能力讓我感到自在,敢於提出我不確定的問題。
Leila - BHG Financial
課程 - Apache NiFi for Administrators
機器翻譯
使用案例,構建NiFi數據流的示例。我們專注於解決常見問題和陷阱。
Nelson - BHG Financial
課程 - Apache NiFi for Administrators
機器翻譯
我喜歡這個課程結構。第一天,我們深入學習了Nifi的基礎知識、概念和用例等。第二天,我們將第一天的知識付諸實踐,通過構建流程來滿足場景需求。第三天,我們瞭解了Nifi Registry和版本控制、多租戶功能,並進行了問答環節。
Adam - BHG Financial
課程 - Apache NiFi for Administrators
機器翻譯
我喜歡他能夠詳細闡述Nifi及其強大功能的方式。你可以將其用於任何基礎設施,並支持多種計算機語言。此外,我很高興我們能夠解決Nifi證書更新時遇到的Truststore問題。
Joachim Martin - BHG Financial
課程 - Apache NiFi for Administrators
機器翻譯
關於培訓所提供工具的一般知識和可能性。
Nalfis Tobar - BHG Financial
課程 - Apache NiFi for Administrators
機器翻譯