感謝您提交詢問!我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂!我們的一位團隊成員將在短時間內與您聯繫。
課程時長 14 時間:
課程簡介
為部署準備機器學習模型
- 使用Docker打包模型
- 從TensorFlow和PyTorch導出模型
- 版本控制和存儲考量
在Kubernetes上提供模型服務
- 推理服務器概述
- 部署TensorFlow Serving和TorchServe
- 設置模型端點
推理優化技術
- 批處理策略
- 並發請求處理
- 延遲和吞吐量調整
自動縮放ML工作負載
- 水平Pod自動縮放器(HPA)
- 垂直Pod自動縮放器(VPA)
- Kubernetes事件驅動自動縮放(KEDA)
GPU置備和資源管理
- 配置GPU節點
- NVIDIA設備插件概述
- ML工作負載的資源請求和限制
模型發布和發布策略
- 藍綠部署
- 金丝雀發布模式
- 用於模型評估的A/B測試
生產環境中ML的監控和可觀測性
- 推理工作負載指標
- 日誌記錄和追蹤實踐
- 儀表板和告警
安全性和可靠性考量
- 保護模型端點
- 網絡策略和訪問控制
- 確保高可用性
總結和下一步
最低要求
- 了解容器化應用程序工作流程
- 具有基於Python的機器學習模型經驗
- 熟悉Kubernetes基礎知識
目標受眾
- ML工程師
- DevOps工程師
- 平台工程團隊
客戶評論 (2)
如前所述,对于像我这样没有经验的人来说,这是了解这些程序/工具等功能与用途的入门途径。
Patrick V. Duylovski - UBB + DZI (KBC GROUP)
課程 - Docker and Kubernetes
機器翻譯
對容器/Kubernetes及其交互方式的基本理解 OpenShift平臺的功能
Eric Scholze - NOW IT GmbH
課程 - Introduction to Containers, Kubernetes & OpenShift
機器翻譯