聯繫我們
 課程時長 14 時間:

課程簡介

AI主權與LLM本地部署

  • 雲端LLM的風險:數據留存、輸入數據用於訓練、外國司法管轄權。
  • Ollama架構:模型伺服器、登錄及OpenAI相容API。
  • 與vLLM、llama.cpp和Text Generation Inference的比較。
  • 模型授權條款:Llama、Mistral、Qwen及Gemma。

安裝與硬體設定

  • 在支援CUDA和ROCm的Linux上安裝Ollama。
  • 純CPU回退方案及AVX/AVX2優化。
  • Docker部署及持久卷映射。
  • 多GPU配置及VRAM分配策略。

模型管理

  • 從Ollama登錄拉取模型:ollama pull llama3。
  • 從HuggingFace和TheBloke導入GGUF模型。
  • 量化級別:Q4_K_M、Q5_K_M、Q8_0的權衡。
  • 模型切換及並發模型加載限制。

自訂Modelfile

  • 撰寫Modelfile語法:FROM、PARAMETER、SYSTEM、TEMPLATE。
  • 調優temperature、top_p和repeat_penalty。
  • 為特定角色行為進行系統提示工程。
  • 建立自訂模型並發布至本地登錄。

API集成

  • OpenAI相容的/v1/chat/completions端點。
  • 流式響應及JSON模式。
  • 與LangChain、LlamaIndex及自訂apps集成。
  • 透過反向代理進行身份驗證及速率限制。

性能優化

  • 上下文窗口大小及KV緩存管理。
  • 批次推理及並行請求處理。
  • CPU線程分配及NUMA感知。
  • 監控GPU利用率及記憶體壓力。

安全與合規

  • 模型服務端點的網路隔離。
  • 輸入過濾及輸出審核管線。
  • 提示及完成內容的審計日誌。
  • 模型來源及哈希驗證。

最低要求

  • 中級Linux及容器管理知識。
  • 對機器學習及Transformer模型的高層級理解。
  • 熟悉REST API及JSON。

受眾

  • 旨在取代雲端LLM API的AI工程師和開發人員。
  • 因數據敏感度限制而無法使用雲端模型的組織。
  • 需要氣隙語言模型的政府及國防團隊。

人數


每位參與者的報價

即將到來的課程

課程分類