感謝您提交詢問!我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂!我們的一位團隊成員將在短時間內與您聯繫。
課程時長 35 時間:
課程簡介
簡介與診斷基礎
- LLM系統失敗模式概述及常見Ollama特定問題
- 建立可重現實驗與受控環境
- 除錯工具組:本地日誌、請求/回應擷取與沙箱
重現與隔離失敗
- 建立最小失敗範例與種子的技巧
- 有狀態與無狀態互動:隔離與上下文相關的錯誤
- 確定性、隨機性與控制非確定性行為
行為評估與指標
- 量化指標:準確度、ROUGE/BLEU變體、校準與困惑度代理
- 質化評估:人機迴圈評分與評分規準設計
- 任務特定忠實度檢查與驗收標準
自動化測試與回歸
- 提示與元件的單元測試、情境與端對端測試
- 建立回歸套件與黃金範例基準
- Ollama模型更新的CI/CD整合與自動化驗證關卡
可觀測性與監控
- 結構化日誌、分散式追蹤與關聯ID
- 關鍵營運指標:延遲、Token使用量、錯誤率與品質訊號
- 模型支援服務的警報、儀表板與SLI/SLO
進階根本原因分析
- 追蹤圖形化提示、工具呼叫與多輪流程
- 比較性A/B診斷與消融研究
- 資料來源、資料集除錯與處理資料集引起的失敗
安全性、穩健性與修正策略
- 緩解措施:過濾、接地、檢索增強與提示建構
- 模型更新的回滾、金絲雀與分階段部署模式
- 事後檢討、經驗教訓與持續改進迴圈
總結與後續步驟
最低要求
- 具備建置與部署LLM應用程式的豐富經驗
- 熟悉Ollama工作流程與模型託管
- 熟悉Python、Docker及基本可觀測性工具
目標學員
- AI工程師
- ML Ops專業人員
- 負責生產LLM系統的QA團隊