感謝您提交詢問!我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂!我們的一位團隊成員將在短時間內與您聯繫。
課程時長 14 時間:
課程簡介
AI主權與LLM本地部署
- 雲端LLM的風險:數據留存、輸入數據用於訓練、外國司法管轄權。
- Ollama架構:模型伺服器、登錄及OpenAI相容API。
- 與vLLM、llama.cpp和Text Generation Inference的比較。
- 模型授權條款:Llama、Mistral、Qwen及Gemma。
安裝與硬體設定
- 在支援CUDA和ROCm的Linux上安裝Ollama。
- 純CPU回退方案及AVX/AVX2優化。
- Docker部署及持久卷映射。
- 多GPU配置及VRAM分配策略。
模型管理
- 從Ollama登錄拉取模型:ollama pull llama3。
- 從HuggingFace和TheBloke導入GGUF模型。
- 量化級別:Q4_K_M、Q5_K_M、Q8_0的權衡。
- 模型切換及並發模型加載限制。
自訂Modelfile
- 撰寫Modelfile語法:FROM、PARAMETER、SYSTEM、TEMPLATE。
- 調優temperature、top_p和repeat_penalty。
- 為特定角色行為進行系統提示工程。
- 建立自訂模型並發布至本地登錄。
API集成
- OpenAI相容的/v1/chat/completions端點。
- 流式響應及JSON模式。
- 與LangChain、LlamaIndex及自訂apps集成。
- 透過反向代理進行身份驗證及速率限制。
性能優化
- 上下文窗口大小及KV緩存管理。
- 批次推理及並行請求處理。
- CPU線程分配及NUMA感知。
- 監控GPU利用率及記憶體壓力。
安全與合規
- 模型服務端點的網路隔離。
- 輸入過濾及輸出審核管線。
- 提示及完成內容的審計日誌。
- 模型來源及哈希驗證。
最低要求
- 中級Linux及容器管理知識。
- 對機器學習及Transformer模型的高層級理解。
- 熟悉REST API及JSON。
受眾
- 旨在取代雲端LLM API的AI工程師和開發人員。
- 因數據敏感度限制而無法使用雲端模型的組織。
- 需要氣隙語言模型的政府及國防團隊。