課程簡介

第 1 天:基礎與核心威脅

模塊 1:OWASP GenAI 安全項目簡介(1 小時)

學習目標:

  • 瞭解從 OWASP 前 10 到 GenAI 特定安全挑戰的演變。
  • 探索 OWASP GenAI 安全項目生態系統和資源。
  • 識別傳統應用安全與 AI 安全的關鍵差異。

涵蓋主題:

  • OWASP GenAI 安全項目使命和範圍概述。
  • 威脅防禦 COMPASS 框架簡介。
  • 瞭解 AI 安全格局和法規要求。
  • AI 攻擊面與傳統 Web 應用漏洞的對比。

實踐練習:設置 OWASP 威脅防禦 COMPASS 工具並進行初始威脅評估。

模塊 2:OWASP 前 10 大 LLM 風險 - 第 1 部分(2.5 小時)

學習目標:

  • 掌握前五大關鍵 LLM 漏洞。
  • 瞭解攻擊向量和利用技術。
  • 應用實際緩解策略。

涵蓋主題:

LLM01:提示注入

  • 直接和間接提示注入技術。
  • 隱藏指令攻擊和跨提示污染。
  • 實際示例:越獄聊天機器人和繞過安全措施。
  • 防禦策略:輸入清理、提示過濾、差分隱私。

LLM02:敏感信息泄露

  • 訓練數據提取和系統提示泄露。
  • 通過模型行爲分析暴露敏感信息。
  • 隱私影響和法規合規考慮。
  • 緩解措施:輸出過濾、訪問控制、數據匿名化。

LLM03:供應鏈漏洞

  • 第三方模型依賴和插件安全。
  • 被篡改的訓練數據集和模型中毒。
  • AI 組件的供應商風險評估。
  • 安全模型部署和驗證實踐。

實踐練習:在易受攻擊的 LLM 應用上演示提示注入攻擊並實施防禦措施。

模塊 3:OWASP 前 10 大 LLM 風險 - 第 2 部分(2 小時)

涵蓋主題:

LLM04:數據和模型中毒

  • 訓練數據操縱技術。
  • 通過中毒輸入修改模型行爲。
  • 後門攻擊和數據完整性驗證。
  • 預防措施:數據驗證管道、來源跟蹤。

LLM05:不當輸出處理

  • 對 LLM 生成內容的不安全處理。
  • 通過 AI 生成輸出進行代碼注入。
  • 通過 AI 響應進行跨站腳本攻擊。
  • 輸出驗證和清理框架。

實踐練習:模擬數據中毒攻擊並實施穩健的輸出驗證機制。

模塊 4:高級 LLM 威脅(1.5 小時)

涵蓋主題:

LLM06:過度代理

  • 自主決策風險和邊界違規。
  • 代理權限和權限管理。
  • 意外系統交互和權限升級。
  • 實施護欄和人類監督控制。

LLM07:系統提示泄露

  • 系統指令暴露漏洞。
  • 通過提示泄露憑證和邏輯。
  • 提取系統提示的攻擊技術。
  • 保護系統指令和外部配置。

實踐練習:設計具有適當訪問控制和監控的安全代理架構。

第 2 天:高級威脅與實施

模塊 5:新興 AI 威脅(2 小時)

學習目標:

  • 瞭解前沿 AI 安全威脅。
  • 實施高級檢測和預防技術。
  • 設計能夠抵禦複雜攻擊的彈性 AI 系統。

涵蓋主題:

LLM08:向量和嵌入弱點

  • RAG 系統漏洞和向量數據庫安全。
  • 嵌入中毒和相似性操縱攻擊。
  • 語義搜索中的對抗性示例。
  • 保護向量存儲並實施異常檢測。

LLM09:錯誤信息和模型可靠性

  • 幻覺檢測和緩解。
  • 偏見放大和公平性考慮。
  • 事實覈查和來源驗證機制。
  • 內容驗證和人類監督集成。

LLM10:無限制消耗

  • 資源耗盡和拒絕服務攻擊。
  • 速率限制和資源管理策略。
  • 成本優化和預算控制。
  • 性能監控和警報系統。

實踐練習:構建具有向量數據庫保護和幻覺檢測的安全 RAG 管道。

模塊 6:代理 AI 安全(2 小時)

學習目標:

  • 瞭解自主 AI 代理的獨特安全挑戰。
  • 將 OWASP 代理 AI 分類法應用於實際系統。
  • 爲多代理環境實施安全控制。

涵蓋主題:

  • 代理 AI 和自主系統簡介。
  • OWASP 代理 AI 威脅分類法:代理設計、內存、規劃、工具使用、部署。
  • 多代理系統安全和協調風險。
  • 工具濫用、內存中毒和目標劫持攻擊。
  • 保護代理通信和決策過程。

實踐練習:使用 OWASP 代理 AI 分類法對多代理客戶服務系統進行威脅建模練習。

模塊 7:OWASP 威脅防禦 COMPASS 實施(2 小時)

學習目標:

  • 掌握威脅防禦 COMPASS 的實際應用。
  • 將 AI 威脅評估整合到組織安全計劃中。
  • 制定全面的 AI 風險管理策略。

涵蓋主題:

  • 深入探討威脅防禦 COMPASS 方法。
  • OODA 循環集成:觀察、定向、決定、行動。
  • 將威脅映射到 MITRE ATT&CK 和 ATLAS 框架。
  • 構建 AI 威脅彈性策略儀表板。
  • 與現有安全工具和流程的集成。

實踐練習:爲 Microsoft Copilot 部署場景使用 COMPASS 完成威脅評估。

模塊 8:實踐實施與最佳實踐(2.5 小時)

學習目標:

  • 從零開始設計安全的 AI 架構。
  • 爲 AI 系統實施監控和事件響應。
  • 創建 AI 安全治理框架。

涵蓋主題:

安全 AI 開發生命週期:

  • AI 應用的安全設計原則。
  • LLM 集成的代碼審查實踐。
  • 測試方法和漏洞掃描。
  • 部署安全和生產強化。

監控與檢測:

  • AI 特定的日誌記錄和監控要求。
  • AI 系統的異常檢測。
  • AI 安全事件的事件響應程序。
  • 取證和調查技術。

治理與合規:

  • AI 風險管理框架和政策。
  • 法規合規考慮(GDPR、AI 法案等)。
  • AI 供應商的第三方風險評估。
  • AI 開發團隊的安全意識培訓。

實踐練習:爲企業 AI 聊天機器人設計完整的安全架構,包括監控、治理和事件響應程序。

模塊 9:工具與技術(1 小時)

學習目標:

  • 評估和實施 AI 安全工具。
  • 瞭解當前 AI 安全解決方案格局。
  • 構建實際的檢測和預防能力。

涵蓋主題:

  • AI 安全工具生態系統和供應商格局。
  • 開源安全工具:Garak、PyRIT、Giskard。
  • AI 安全和監控的商業解決方案。
  • 集成模式和部署策略。
  • 工具選擇標準和評估框架。

實踐練習:演示 AI 安全測試工具並進行實施規劃。

模塊 10:未來趨勢與總結(1 小時)

學習目標:

  • 瞭解新興威脅和未來的安全挑戰。
  • 制定持續學習和改進策略。
  • 創建組織 AI 安全計劃的行動計劃。

涵蓋主題:

  • 新興威脅:深度僞造、高級提示注入、模型反轉。
  • 未來 OWASP GenAI 項目發展和路線圖。
  • 構建 AI 安全社區和知識共享。
  • 持續改進和威脅情報集成。

行動計劃練習:制定 90 天行動計劃,以在參與者的組織中實施 OWASP GenAI 安全實踐。

最低要求

  • 對 Web 應用安全原則有基本瞭解。
  • 對 AI/ML 概念有基本熟悉。
  • 具備安全框架或風險評估方法經驗者優先。

受衆

  • 網絡安全專業人士。
  • AI 開發者。
  • 系統架構師。
  • 合規官。
  • 安全從業者。
 14 時間:

人數


每位參與者的報價

即將到來的課程

課程分類