聯繫我們

課程簡介

AI威脅態勢

  • 爲何AI安全有所不同:非確定性、不透明的推理邏輯、提示即攻擊面。
  • 攻擊分類法:訓練時、推理時與供應鏈攻擊。
  • 機器學習對手模型:誰對AI系統發動攻擊,以及原因。

OWASP LLM應用十大風險

  • 提示注入:直接和間接的攻擊向量。
  • 不安全的輸出處理與跨插件請求僞造。
  • 訓練數據投毒及供應鏈漏洞。
  • 模型拒絕服務、敏感信息泄露及過度權限。
  • 動手實驗:針對測試應用利用各OWASP類別的攻擊方法。

提示注入與越獄紅隊演練

  • 注入技術分類法:直接、間接、多輪及多模態。
  • 使用Giskard、Garak及自定義模糊測試工具進行自動化紅隊演練。
  • 越獄分類與防禦評估。
  • 構建用於持續LLM安全測試的紅隊框架。

模型級攻擊與防禦

  • 模型提取:通過API查詢竊取模型權重和功能。
  • 成員推斷:確定數據是否在訓練集中。
  • 對抗樣本:能夠欺騙分類器和嵌入的微擾。
  • 數據投毒:污染訓練數據以植入後門或降低性能。

輸入與輸出安全控制

  • 超越傳統Web防禦的輸入清理。
  • 輸出過濾:毒性檢測、個人身份信息泄露以及幻覺代碼執行。
  • 將護欄作爲安全基礎設施:NeMo、Guardrails AI及自定義策略。
  • 結構化輸出強制執行作爲安全邊界。

AI供應鏈安全

  • 模型溯源:驗證模型的真實性和完整性。
  • 掃描機器學習框架和模型格式的依賴關係。
  • 安全的模型服務:沙箱化、網絡隔離及最小權限訪問。
  • 篩選微調模型和社區模型中的嵌入惡意軟件。

AI系統的運營安全

  • 針對模型端點、向量存儲和智能體工具的訪問控制。
  • 對每次模型交互和決策進行審計日誌記錄。
  • 針對特定AI泄露的事件響應:當模型本身受到攻擊時如何應對。
  • 針對ML管道的CI/CD中的持續安全測試。

構建AI安全項目

  • AI安全成熟度模型及路線圖。
  • 將AI安全整合到現有的應用程序安全和雲安全項目中。
  • AI系統的治理框架及新興法規。
  • 創建並維護組織內部的AI安全手冊。

最低要求

  • 具有在生產環境中部署機器學習模型或LLM應用程序的經驗。
  • 熟悉認證、授權和威脅建模等安全概念。
  • 具備Python技能,以進行對抗性測試練習。

目標受衆

  • 擴展到AI/ML威脅面的安全工程師。
  • 負責模型安全性和健壯性的機器學習工程師。
  • 將AI系統納入其測試範圍的紅隊成員。
 14 小時

人數


每位參與者的報價

即將到來的課程

課程分類