聯繫我們
 課程時長 14 時間:

課程簡介

為部署準備機器學習模型

  • 使用Docker打包模型
  • 從TensorFlow和PyTorch導出模型
  • 版本控制和存儲考量

在Kubernetes上提供模型服務

  • 推理服務器概述
  • 部署TensorFlow Serving和TorchServe
  • 設置模型端點

推理優化技術

  • 批處理策略
  • 並發請求處理
  • 延遲和吞吐量調整

自動縮放ML工作負載

  • 水平Pod自動縮放器(HPA)
  • 垂直Pod自動縮放器(VPA)
  • Kubernetes事件驅動自動縮放(KEDA)

GPU置備和資源管理

  • 配置GPU節點
  • NVIDIA設備插件概述
  • ML工作負載的資源請求和限制

模型發布和發布策略

  • 藍綠部署
  • 金丝雀發布模式
  • 用於模型評估的A/B測試

生產環境中ML的監控和可觀測性

  • 推理工作負載指標
  • 日誌記錄和追蹤實踐
  • 儀表板和告警

安全性和可靠性考量

  • 保護模型端點
  • 網絡策略和訪問控制
  • 確保高可用性

總結和下一步

最低要求

  • 了解容器化應用程序工作流程
  • 具有基於Python的機器學習模型經驗
  • 熟悉Kubernetes基礎知識

目標受眾

  • ML工程師
  • DevOps工程師
  • 平台工程團隊

人數


每位參與者的報價

客戶評論 (2)

即將到來的課程

課程分類