聯繫我們

課程簡介

參數高效微調(PEFT)導論

  • 全參數微調的動機與局限性
  • PEFT概覽:目標與優勢
  • 行業應用場景與用例

LoRA(低秩適應)

  • LoRA的概念與直覺理解
  • 使用Hugging Face與PyTorch實現LoRA
  • 動手實作:使用LoRA微調模型

適配器微調

  • 適配器模組的工作原理
  • 與基於Transformer模型的整合
  • 動手實作:對Transformer模型應用適配器微調

前綴微調

  • 使用軟提示進行微調
  • 與LoRA及適配器相比的優勢與局限
  • 動手實作:在LLM任務中進行前綴微調

評估與比較PEFT方法

  • 評估性能與效率的指標
  • 訓練速度、內存使用與準確性之間的權衡
  • 基準測試實驗與結果解讀

部署微調後的模型

  • 保存與加載微調後的模型
  • 基於PEFT模型的部署考量
  • 整合至應用程式與流程管線

最佳實務與擴展

  • 結合PEFT與量化、知識蒸餾
  • 在低資源與多語言環境中的應用
  • 未來發展方向與活躍的研究領域

最低要求

  • 具備機器學習基礎知識
  • 有操作大語言模型(LLMs)的經驗
  • 熟悉Python與PyTorch

受眾

  • 數據科學家
  • AI工程師
 14 小時

人數


每位參與者的報價

即將到來的課程

課程分類