課程簡介
第 1 天:基礎與核心威脅
模塊 1:OWASP GenAI 安全項目簡介(1 小時)
學習目標:
- 瞭解從 OWASP 前 10 到 GenAI 特定安全挑戰的演變。
- 探索 OWASP GenAI 安全項目生態系統和資源。
- 識別傳統應用安全與 AI 安全的關鍵差異。
涵蓋主題:
- OWASP GenAI 安全項目使命和範圍概述。
- 威脅防禦 COMPASS 框架簡介。
- 瞭解 AI 安全格局和法規要求。
- AI 攻擊面與傳統 Web 應用漏洞的對比。
實踐練習:設置 OWASP 威脅防禦 COMPASS 工具並進行初始威脅評估。
模塊 2:OWASP 前 10 大 LLM 風險 - 第 1 部分(2.5 小時)
學習目標:
- 掌握前五大關鍵 LLM 漏洞。
- 瞭解攻擊向量和利用技術。
- 應用實際緩解策略。
涵蓋主題:
LLM01:提示注入
- 直接和間接提示注入技術。
- 隱藏指令攻擊和跨提示污染。
- 實際示例:越獄聊天機器人和繞過安全措施。
- 防禦策略:輸入清理、提示過濾、差分隱私。
LLM02:敏感信息泄露
- 訓練數據提取和系統提示泄露。
- 通過模型行爲分析暴露敏感信息。
- 隱私影響和法規合規考慮。
- 緩解措施:輸出過濾、訪問控制、數據匿名化。
LLM03:供應鏈漏洞
- 第三方模型依賴和插件安全。
- 被篡改的訓練數據集和模型中毒。
- AI 組件的供應商風險評估。
- 安全模型部署和驗證實踐。
實踐練習:在易受攻擊的 LLM 應用上演示提示注入攻擊並實施防禦措施。
模塊 3:OWASP 前 10 大 LLM 風險 - 第 2 部分(2 小時)
涵蓋主題:
LLM04:數據和模型中毒
- 訓練數據操縱技術。
- 通過中毒輸入修改模型行爲。
- 後門攻擊和數據完整性驗證。
- 預防措施:數據驗證管道、來源跟蹤。
LLM05:不當輸出處理
- 對 LLM 生成內容的不安全處理。
- 通過 AI 生成輸出進行代碼注入。
- 通過 AI 響應進行跨站腳本攻擊。
- 輸出驗證和清理框架。
實踐練習:模擬數據中毒攻擊並實施穩健的輸出驗證機制。
模塊 4:高級 LLM 威脅(1.5 小時)
涵蓋主題:
LLM06:過度代理
- 自主決策風險和邊界違規。
- 代理權限和權限管理。
- 意外系統交互和權限升級。
- 實施護欄和人類監督控制。
LLM07:系統提示泄露
- 系統指令暴露漏洞。
- 通過提示泄露憑證和邏輯。
- 提取系統提示的攻擊技術。
- 保護系統指令和外部配置。
實踐練習:設計具有適當訪問控制和監控的安全代理架構。
第 2 天:高級威脅與實施
模塊 5:新興 AI 威脅(2 小時)
學習目標:
- 瞭解前沿 AI 安全威脅。
- 實施高級檢測和預防技術。
- 設計能夠抵禦複雜攻擊的彈性 AI 系統。
涵蓋主題:
LLM08:向量和嵌入弱點
- RAG 系統漏洞和向量數據庫安全。
- 嵌入中毒和相似性操縱攻擊。
- 語義搜索中的對抗性示例。
- 保護向量存儲並實施異常檢測。
LLM09:錯誤信息和模型可靠性
- 幻覺檢測和緩解。
- 偏見放大和公平性考慮。
- 事實覈查和來源驗證機制。
- 內容驗證和人類監督集成。
LLM10:無限制消耗
- 資源耗盡和拒絕服務攻擊。
- 速率限制和資源管理策略。
- 成本優化和預算控制。
- 性能監控和警報系統。
實踐練習:構建具有向量數據庫保護和幻覺檢測的安全 RAG 管道。
模塊 6:代理 AI 安全(2 小時)
學習目標:
- 瞭解自主 AI 代理的獨特安全挑戰。
- 將 OWASP 代理 AI 分類法應用於實際系統。
- 爲多代理環境實施安全控制。
涵蓋主題:
- 代理 AI 和自主系統簡介。
- OWASP 代理 AI 威脅分類法:代理設計、內存、規劃、工具使用、部署。
- 多代理系統安全和協調風險。
- 工具濫用、內存中毒和目標劫持攻擊。
- 保護代理通信和決策過程。
實踐練習:使用 OWASP 代理 AI 分類法對多代理客戶服務系統進行威脅建模練習。
模塊 7:OWASP 威脅防禦 COMPASS 實施(2 小時)
學習目標:
- 掌握威脅防禦 COMPASS 的實際應用。
- 將 AI 威脅評估整合到組織安全計劃中。
- 制定全面的 AI 風險管理策略。
涵蓋主題:
- 深入探討威脅防禦 COMPASS 方法。
- OODA 循環集成:觀察、定向、決定、行動。
- 將威脅映射到 MITRE ATT&CK 和 ATLAS 框架。
- 構建 AI 威脅彈性策略儀表板。
- 與現有安全工具和流程的集成。
實踐練習:爲 Microsoft Copilot 部署場景使用 COMPASS 完成威脅評估。
模塊 8:實踐實施與最佳實踐(2.5 小時)
學習目標:
- 從零開始設計安全的 AI 架構。
- 爲 AI 系統實施監控和事件響應。
- 創建 AI 安全治理框架。
涵蓋主題:
安全 AI 開發生命週期:
- AI 應用的安全設計原則。
- LLM 集成的代碼審查實踐。
- 測試方法和漏洞掃描。
- 部署安全和生產強化。
監控與檢測:
- AI 特定的日誌記錄和監控要求。
- AI 系統的異常檢測。
- AI 安全事件的事件響應程序。
- 取證和調查技術。
治理與合規:
- AI 風險管理框架和政策。
- 法規合規考慮(GDPR、AI 法案等)。
- AI 供應商的第三方風險評估。
- AI 開發團隊的安全意識培訓。
實踐練習:爲企業 AI 聊天機器人設計完整的安全架構,包括監控、治理和事件響應程序。
模塊 9:工具與技術(1 小時)
學習目標:
- 評估和實施 AI 安全工具。
- 瞭解當前 AI 安全解決方案格局。
- 構建實際的檢測和預防能力。
涵蓋主題:
- AI 安全工具生態系統和供應商格局。
- 開源安全工具:Garak、PyRIT、Giskard。
- AI 安全和監控的商業解決方案。
- 集成模式和部署策略。
- 工具選擇標準和評估框架。
實踐練習:演示 AI 安全測試工具並進行實施規劃。
模塊 10:未來趨勢與總結(1 小時)
學習目標:
- 瞭解新興威脅和未來的安全挑戰。
- 制定持續學習和改進策略。
- 創建組織 AI 安全計劃的行動計劃。
涵蓋主題:
- 新興威脅:深度僞造、高級提示注入、模型反轉。
- 未來 OWASP GenAI 項目發展和路線圖。
- 構建 AI 安全社區和知識共享。
- 持續改進和威脅情報集成。
行動計劃練習:制定 90 天行動計劃,以在參與者的組織中實施 OWASP GenAI 安全實踐。
最低要求
- 對 Web 應用安全原則有基本瞭解。
- 對 AI/ML 概念有基本熟悉。
- 具備安全框架或風險評估方法經驗者優先。
受衆
- 網絡安全專業人士。
- AI 開發者。
- 系統架構師。
- 合規官。
- 安全從業者。