聯繫我們
 課程時長 14 時間:

課程簡介

人類回饋強化學習 (RLHF) 簡介

  • 何為 RLHF,及其重要性
  • 與監督式微調方法的比較
  • RLHF 在現代 AI 系統中的應用

基於人類回饋的獎勵建模

  • 收集與結構化人類回饋
  • 構建與訓練獎勵模型
  • 評估獎勵模型的有效性

使用近端策略優化 (PPO) 進行訓練

  • RLHF 中 PPO 算法概述
  • 結合獎勵模型實施 PPO
  • 迭代且安全地微調模型

語言模型的實戰微調

  • 準備 RLHF 工作流程數據集
  • 使用 RLHF 實戰微調小型 LLM
  • 挑戰與緩解策略

將 RLHF 擴展至生產系統

  • 基礎設施與計算資源考量
  • 質量保證與持續反饋循環
  • 部署與維護的最佳實務

倫理考量與偏差緩解

  • 應對人類回饋中的倫理風險
  • 偏差檢測與糾正策略
  • 確保對齊與安全輸出

案例研究與實例

  • 案例研究:使用 RLHF 微調 ChatGPT
  • 其他成功的 RLHF 部署案例
  • 經驗教訓與行業見解

最低要求

  • 理解監督學習與強化學習基礎
  • 具備模型微調與神經網絡架構經驗
  • 熟悉 Python 編程及深度學習框架 (如 TensorFlow, PyTorch)

受眾

  • 機器學習工程師
  • AI 研究者

人數


每位參與者的報價

即將到來的課程

課程分類