感謝您提交詢問!我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂!我們的一位團隊成員將在短時間內與您聯繫。
課程簡介
LLMOps簡介
- LLMOps與MLOps的區別:運營大語言模型的獨特挑戰
- 大語言模型應用生命週期:提示詞、評估、部署、監控
- 生成式AI應用的投產就緒檢查清單
提示詞管理與版本控制
- 提示詞模板系統與變量注入
- 帶自動化迴歸測試的語義版本號管理
- 提示詞註冊表與協作工作流
規模化大語言模型評估
- 評估維度:準確性、相關性、安全性、依據性
- 大語言模型作爲裁判的指標及人工評估管道
- 自動化評估框架:RAGAS、DeepEval及自定義評估器
- 大語言模型部署中的CI/CD質量門禁
安全護欄與內容治理
- 輸入與輸出護欄:NeMo Guardrails和Guardrails AI
- 個人身份信息檢測、毒性過濾及主題邊界控制
- 針對越獄攻擊和提示詞注入的防禦策略
- 通過紅隊測試確保大語言模型應用的安全性
大語言模型可觀測性與監控
- 遙測數據:令牌用量、延遲、成本和質量指標
- 大語言模型輸出及嵌入空間的漂移檢測
- 多輪智能體對話的會話級追蹤
- 使用LangSmith、Arize和OpenTelemetry進行儀表盤展示與告警配置
AI網關與模型編排
- 使用LiteLLM和Portkey實現多供應商路由
- 故障轉移策略、重試邏輯及熔斷機制
- 成本感知的模型選擇與負載均衡
- 速率限制、配額管理及API密鑰治理
性能優化
- 使用向量存儲和精確匹配策略實現語義緩存
- 通過受限解碼強制執行結構化輸出
- 批處理、流式傳輸及併發模式
- 跨模型供應商的延遲優化
治理、合規與審計
- 大語言模型審計軌跡:提示詞日誌、響應日誌及決策溯源
- 大語言模型API的數據駐留與隱私考量
- 組織內大語言模型使用的代碼化策略
- 構建內部大語言模型運營手冊
最低要求
- 具備構建或集成大語言模型應用的實踐經驗。
- 熟悉Python及REST API。
- 對提示詞工程概念有基本理解。
目標學員
- 從機器學習運維轉向大語言模型運營的機器學習工程師和MLOps從業者。
- 負責大語言模型基礎設施的平臺工程師。
- 管理生產級生成式AI部署的技術負責人。
14 小時
客戶評論 (2)
使用正确且有效的提示词
Marses Pacaldo
課程 - Generative AI and Prompt Engineering for Corporate Professionals
機器翻譯
互動式風格,練習
Tamas Tutuntzisz
課程 - Introduction to Prompt Engineering
機器翻譯