課程簡介
第一天：基礎與核心威脅
模塊1：OWASP GenAI Security Project 簡介（1小時）
學習目標：
- 理解從 OWASP Top 10 到特定於 GenAI 安全挑戰的演變
- 探索 OWASP GenAI Security Project 生態系統與資源
- 識別傳統應用安全與 AI 安全之間的關鍵差異
涵蓋主題：
- OWASP GenAI Security Project 使命與範圍概述
- 威脅防禦 COMPASS 框架簡介
- 理解 AI 安全格局與監管要求
- AI 攻擊面與傳統 Web 應用漏洞對比
實操練習：配置 OWASP 威脅防禦 COMPASS 工具並進行初始威脅評估
模塊2：LLM的OWASP Top 10 - 第一部分（2.5小時）
學習目標：
- 掌握前五種關鍵的 LLM 漏洞
- 理解攻擊向量與利用技術
- 應用實踐緩解策略
涵蓋主題：
LLM01：提示詞注入（Prompt Injection）
- 直接和間接提示詞注入技術
- 隱藏指令攻擊與跨提示詞污染
- 實際案例：越獄聊天機器人並繞過安全措施
- 防禦策略：輸入清洗、提示詞過濾、差分隱私
LLM02：敏感信息泄露
- 訓練數據提取與系統提示詞泄露
- 用於敏感信息暴露的模型行爲分析
- 隱私影響與監管合規考量
- 緩解措施：輸出過濾、訪問控制、數據匿名化
LLM03：供應鏈漏洞
- 第三方模型依賴與插件安全
- 被污染的訓練數據集與模型投毒
- AI 組件的供應商風險評估
- 安全的模型部署與驗證實踐
實操練習：通過實操實驗室演示針對存在漏洞 LLM 應用的提示詞注入攻擊，並實施防禦措施
模塊3：LLM的OWASP Top 10 - 第二部分（2小時）
涵蓋主題：
LLM04：數據與模型投毒
- 訓練數據操縱技術
- 通過被污染輸入修改模型行爲
- 後門攻擊與數據完整性驗證
- 預防措施：數據驗證管道、溯源追蹤
LLM05：不當的輸出處理
- 對 LLM 生成內容的非安全處理
- 通過 AI 生成輸出進行的代碼注入
- 通過 AI 響應進行跨站腳本攻擊（XSS）
- 輸出驗證與清洗框架
實操練習：模擬數據投毒攻擊並實施健壯的輸出驗證機制
模塊4：高級LLM威脅（1.5小時）
涵蓋主題：
LLM06：過度自主權（Excessive Agency）
- 自主決策風險與邊界違規
- 代理權限與許可管理
- 非預期的系統交互與權限提升
- 實施護欄與人機監督控制
LLM07：系統提示詞泄露
- 系統指令暴露漏洞
- 通過提示詞泄露憑證與邏輯
- 提取系統提示詞的攻擊技術
- 保護系統指令與外部配置
實操練習：設計具有適當訪問控制和監控的安全代理架構
第二天：高級威脅與實施
模塊5：新興AI威脅（2小時）
學習目標：
- 理解前沿 AI 安全威脅
- 實施先進的檢測與預防技術
- 設計能抵禦複雜攻擊的彈性 AI 系統
涵蓋主題：
LLM08：向量與嵌入弱點
- RAG 系統漏洞與向量數據庫安全
- 嵌入投毒與相似度操縱攻擊
- 語義搜索中的對抗性樣本
- 保護向量存儲並實施異常檢測
LLM09：錯誤信息與模型可靠性
- 幻覺檢測與緩解
- 偏差放大與公平性考量
- 事實覈查與來源驗證機制
- 內容驗證與人機監督集成
LLM10：無限制消耗
- 資源耗盡與拒絕服務攻擊
- 速率限制與資源管理策略
- 成本優化與預算控制
- 性能監控與告警系統
實操練習：構建具有向量數據庫保護和幻覺檢測的安全 RAG 管道
模塊6：智能體AI安全（2小時）
學習目標：
- 理解自主 AI 代理特有的安全挑戰
- 將 OWASP 智能體 AI 分類法應用於實際系統
- 爲多代理環境實施安全控制措施
涵蓋主題：
- 智能體 AI 與自主系統簡介
- OWASP 智能體 AI 威脅分類法：代理設計、記憶、規劃、工具使用、部署
- 多代理系統安全與協調風險
- 工具誤用、記憶投毒與目標劫持攻擊
- 保護代理通信與決策過程
實操練習：在 multi-agent 客戶服務系統上使用 OWASP 智能體 AI 分類法進行威脅建模練習
模塊7：OWASP威脅防禦COMPASS實施（2小時）
學習目標：
- 掌握威脅防禦 COMPASS 的實際應用
- 將 AI 威脅評估整合到組織的安全計劃中
- 制定全面的 AI 風險管理策略
涵蓋主題：
- 深入探討威脅防禦 COMPASS 方法論
- 集成 OODA 循環：觀察、定位、決策、行動
- 將威脅映射至 MITRE ATT&CK 和 ATLAS 框架
- 構建 AI 威脅彈性策略儀表板
- 與現有安全工具及流程集成
實操練習：在 Microsoft Copilot 部署場景中完成使用 COMPASS 的威脅評估
模塊8：實踐實施與最佳實踐（2.5小時）
學習目標：
- 從頭設計安全的 AI 架構
- 爲 AI 系統實施監控與應急響應
- 創建 AI 安全治理框架
涵蓋主題：
安全AI開發生命週期：
- AI 應用的“設計即安全”原則
- LLM 集成的代碼審查實踐
- 測試方法與漏洞掃描
- 部署安全與生產環境加固
監控與檢測：
- 特定於 AI 的日誌記錄與監控要求
- AI 系統的異常檢測
- AI 安全事件的應急響應程序
- 取證與調查技術
治理與合規：
- AI 風險管理框架與政策
- 監管合規考量（GDPR、AI法案等）
- AI 供應商的第三方風險評估
- 面向 AI 開發團隊的安全意識培訓
實操練習：爲企業 AI 聊天機器人設計完整的安全架構，包括監控、治理和應急響應程序
模塊9：工具與技術（1小時）
學習目標：
- 評估並實施 AI 安全工具
- 瞭解當前 AI 安全解決方案格局
- 構建實用的檢測與預防能力
涵蓋主題：
- AI 安全工具生態系統與供應商格局
- 開源安全工具：Garak, PyRIT, Giskard
- 商業 AI 安全與監控解決方案
- 集成模式與部署策略
- 工具選擇標準與評估框架
實操練習：演示 AI 安全測試工具並制定實施計劃
模塊10：未來趨勢與總結（1小時）
學習目標：
- 理解新興威脅與未來安全挑戰
- 制定持續學習與改進策略
- 爲組織的 AI 安全計劃創建行動計劃
涵蓋主題：
- 新興威脅：深度僞造、高級提示詞注入、模型反演
- 未來 OWASP GenAI 項目發展與路線圖
- 構建 AI 安全社區與知識共享
- 持續改進與威脅情報集成
行動計劃練習：制定一份 90 天行動計劃，用於在學員所在組織中實施 OWASP GenAI 安全實踐
最低要求
- 對 Web 應用安全原則有一般性理解
- 基本熟悉 AI/ML 概念
- 具有安全框架或風險評估方法論經驗者優先
受衆
- 網絡安全專業人員
- AI 開發人員
- 系統架構師
- 合規官員
- 安全從業者
客戶評論 (1)
我非常喜歡學習關於AI攻擊的內容，以及那些可以開始實踐並積極用於安全測試的工具。我學到了很多之前不瞭解的知識，課程也達到了我的期望。培訓中我最喜歡的部分是Comet Browser，它的功能讓我感到驚歎。這絕對是我會進一步研究的內容。總體來說，這是一門很棒的課程，我很享受學習所有OWASP GenAI Top 10的內容。
Patrick Collins - Optum
課程 - OWASP GenAI Security
機器翻譯
