感謝您提交詢問!我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂!我們的一位團隊成員將在短時間內與您聯繫。
課程時長 35 時間:
課程簡介
介紹與診斷基礎
- LLM 系統中的故障模式概覽,
以及常見的 Ollama 特定問題 - 建立可重現的實驗與受控環境
- 除錯工具集:本地日誌、請求/回應捕獲與沙箱化
重現與隔離故障
- 創建最小失敗範例與種子的技術
- 有狀態與無狀態互動:隔離上下文相關錯誤
- 確定性、隨機性,以及控制非確定性行為
行為評估與指標
- 定量指標:準確率、ROUGE/BLEU 變體、
校準以及困惑度代理 - 定性評估:人在環評分與評分標準設計
- 任務特定的準確性檢查與驗收標準
自動化測試與回歸
- 提示與組件的單元測試,
情境與端到端測試 - 創建回歸測試套裝與黃金範例基線
- CI/CD 整合,用於 Ollama 模型更新與自動化驗證閘門
可觀察性與監控
- 結構化日誌、分布式追蹤與關聯 ID
- 關鍵運營指標:延遲、令牌使用量、
錯誤率與質量信號 - 警報、儀表板,以及模型驅動服務的 SLI/SLO
進階根本原因分析
- 追蹤圖形化提示、工具調用與多輪流程
- 比較式 A/B 診斷與消融研究
- 數據來源、數據集除錯,
以及解決數據集誘發的故障
安全性、穩健性與修復策略
- 緩解措施:過濾、接地、檢索增強與提示框架
- 用於模型更新的回滾、金丝雀與分階段推出模式
- 事後分析、經驗教訓與持續改進循環
總結與後續步驟
最低要求
- 具備建構和部署 LLM 應用的豐富經驗
- 熟悉 Ollama 工作流與模型托管
- 熟悉 Python、Docker 及基礎可觀察性工具
目標受眾
- AI 工程師
- ML Ops 專業人士
- 負責生產環境 LLM 系統的 QA 團隊