聯繫我們
 課程時長 35 時間:

課程簡介

簡介與診斷基礎

  • LLM系統失敗模式概述及常見Ollama特定問題
  • 建立可重現實驗與受控環境
  • 除錯工具組:本地日誌、請求/回應擷取與沙箱

重現與隔離失敗

  • 建立最小失敗範例與種子的技巧
  • 有狀態與無狀態互動:隔離與上下文相關的錯誤
  • 確定性、隨機性與控制非確定性行為

行為評估與指標

  • 量化指標:準確度、ROUGE/BLEU變體、校準與困惑度代理
  • 質化評估:人機迴圈評分與評分規準設計
  • 任務特定忠實度檢查與驗收標準

自動化測試與回歸

  • 提示與元件的單元測試、情境與端對端測試
  • 建立回歸套件與黃金範例基準
  • Ollama模型更新的CI/CD整合與自動化驗證關卡

可觀測性與監控

  • 結構化日誌、分散式追蹤與關聯ID
  • 關鍵營運指標:延遲、Token使用量、錯誤率與品質訊號
  • 模型支援服務的警報、儀表板與SLI/SLO

進階根本原因分析

  • 追蹤圖形化提示、工具呼叫與多輪流程
  • 比較性A/B診斷與消融研究
  • 資料來源、資料集除錯與處理資料集引起的失敗

安全性、穩健性與修正策略

  • 緩解措施:過濾、接地、檢索增強與提示建構
  • 模型更新的回滾、金絲雀與分階段部署模式
  • 事後檢討、經驗教訓與持續改進迴圈

總結與後續步驟

最低要求

  • 具備建置與部署LLM應用程式的豐富經驗
  • 熟悉Ollama工作流程與模型託管
  • 熟悉Python、Docker及基本可觀測性工具

目標學員

  • AI工程師
  • ML Ops專業人員
  • 負責生產LLM系統的QA團隊

人數


每位參與者的報價

即將到來的課程

課程分類