聯繫我們

課程簡介

LLMOps簡介

  • LLMOps與MLOps的區別:運營大語言模型的獨特挑戰
  • 大語言模型應用生命週期:提示詞、評估、部署、監控
  • 生成式AI應用的投產就緒檢查清單

提示詞管理與版本控制

  • 提示詞模板系統與變量注入
  • 帶自動化迴歸測試的語義版本號管理
  • 提示詞註冊表與協作工作流

規模化大語言模型評估

  • 評估維度:準確性、相關性、安全性、依據性
  • 大語言模型作爲裁判的指標及人工評估管道
  • 自動化評估框架:RAGAS、DeepEval及自定義評估器
  • 大語言模型部署中的CI/CD質量門禁

安全護欄與內容治理

  • 輸入與輸出護欄:NeMo Guardrails和Guardrails AI
  • 個人身份信息檢測、毒性過濾及主題邊界控制
  • 針對越獄攻擊和提示詞注入的防禦策略
  • 通過紅隊測試確保大語言模型應用的安全性

大語言模型可觀測性與監控

  • 遙測數據:令牌用量、延遲、成本和質量指標
  • 大語言模型輸出及嵌入空間的漂移檢測
  • 多輪智能體對話的會話級追蹤
  • 使用LangSmith、Arize和OpenTelemetry進行儀表盤展示與告警配置

AI網關與模型編排

  • 使用LiteLLM和Portkey實現多供應商路由
  • 故障轉移策略、重試邏輯及熔斷機制
  • 成本感知的模型選擇與負載均衡
  • 速率限制、配額管理及API密鑰治理

性能優化

  • 使用向量存儲和精確匹配策略實現語義緩存
  • 通過受限解碼強制執行結構化輸出
  • 批處理、流式傳輸及併發模式
  • 跨模型供應商的延遲優化

治理、合規與審計

  • 大語言模型審計軌跡:提示詞日誌、響應日誌及決策溯源
  • 大語言模型API的數據駐留與隱私考量
  • 組織內大語言模型使用的代碼化策略
  • 構建內部大語言模型運營手冊

最低要求

  • 具備構建或集成大語言模型應用的實踐經驗。
  • 熟悉Python及REST API。
  • 對提示詞工程概念有基本理解。

目標學員

  • 從機器學習運維轉向大語言模型運營的機器學習工程師和MLOps從業者。
  • 負責大語言模型基礎設施的平臺工程師。
  • 管理生產級生成式AI部署的技術負責人。
 14 小時

人數


每位參與者的報價

客戶評論 (2)

即將到來的課程

課程分類