聯繫我們
 課程時長 35 時間:

課程簡介

介紹與診斷基礎

  • LLM 系統中的故障模式概覽,
    以及常見的 Ollama 特定問題
  • 建立可重現的實驗與受控環境
  • 除錯工具集:本地日誌、請求/回應捕獲與沙箱化

重現與隔離故障

  • 創建最小失敗範例與種子的技術
  • 有狀態與無狀態互動:隔離上下文相關錯誤
  • 確定性、隨機性,以及控制非確定性行為

行為評估與指標

  • 定量指標:準確率、ROUGE/BLEU 變體、
    校準以及困惑度代理
  • 定性評估:人在環評分與評分標準設計
  • 任務特定的準確性檢查與驗收標準

自動化測試與回歸

  • 提示與組件的單元測試,
    情境與端到端測試
  • 創建回歸測試套裝與黃金範例基線
  • CI/CD 整合,用於 Ollama 模型更新與自動化驗證閘門

可觀察性與監控

  • 結構化日誌、分布式追蹤與關聯 ID
  • 關鍵運營指標:延遲、令牌使用量、
    錯誤率與質量信號
  • 警報、儀表板,以及模型驅動服務的 SLI/SLO

進階根本原因分析

  • 追蹤圖形化提示、工具調用與多輪流程
  • 比較式 A/B 診斷與消融研究
  • 數據來源、數據集除錯,
    以及解決數據集誘發的故障

安全性、穩健性與修復策略

  • 緩解措施:過濾、接地、檢索增強與提示框架
  • 用於模型更新的回滾、金丝雀與分階段推出模式
  • 事後分析、經驗教訓與持續改進循環

總結與後續步驟

最低要求

  • 具備建構和部署 LLM 應用的豐富經驗
  • 熟悉 Ollama 工作流與模型托管
  • 熟悉 Python、Docker 及基礎可觀察性工具

目標受眾

  • AI 工程師
  • ML Ops 專業人士
  • 負責生產環境 LLM 系統的 QA 團隊

人數


每位參與者的報價

即將到來的課程

課程分類