課程簡介
模塊1 — 面向安全工程師的AI系統
實驗:實驗01 — 01-介紹
理解架構。
主題:
- LLM與普通應用程序
- AI推理管道
- 提示流
- RAG架構
- 嵌入/向量數據庫
- 代理式工作流
- 工具調用
- AI網關
- 副駕駛
- MCP和代理協議
- WAF可見性存在的地方
- WAF可見性消失的地方
關鍵洞察:傳統WAF通常在提示到達模型後失去可見性。
模塊2 — OWASP GenAI Top 10
實驗:無 — 互動回顧/討論
核心AI攻擊類別。
主題:
- 提示注入
- 不安全輸出處理
- 訓練數據投毒
- 模型DoS
- 供應鏈漏洞
- 敏感信息泄露
- 過度代理
- 向量/嵌入弱點
- 錯誤信息
- 無限制消耗
包括:
- 與經典OWASP的區別
- 映射到防禦控制(WAF、網關、應用層)
- 每個控制的幫助點
- 每個控制的失敗點
模塊3 — 提示注入檢測
實驗:實驗02 — 02-提示注入
AI的“SQL注入時刻”。
主題:
- 直接提示注入
- 間接提示注入
- 隱藏指令
- 基於文檔的攻擊
- HTML/Markdown注入
- 越獄模式
- 上下文覆蓋攻擊
- 角色混淆攻擊
檢測策略:
- 關鍵詞啓發式
- 語義分類
- 提示檢查
- 指令邊界強制
- 允許/拒絕策略
- AI感知的正則表達式
動手實驗:
- 攻擊聊天機器人
- 繞過簡單過濾器
- 構建分層檢測
模塊4 — AI感知的WAF規則
實驗:實驗03 — 03-WAF基礎
WAF規則如何適應AI系統。
- 主題:
- 保護LLM端點
- 推理API保護
- 令牌感知的速率限制
- 提示大小檢查
- AI特有的簽名
- 對話異常檢測
- 多輪濫用模式
- 模型枚舉嘗試
- 推理抓取
- 錢包耗盡保護
示例:
- 保護/v1/chat/completions
- 防禦流式API
- 阻止遞歸代理調用
模塊5 — 保護RAG管道
實驗:實驗04 — 04-RAG安全
最大的新攻擊面之一。
主題:
- 向量數據庫威脅
- 嵌入投毒
- 惡意PDF/文檔
- 檢索操縱
- 語義投毒
- 文檔中的隱藏指令
- 跨文檔污染
- 通過檢索的數據泄露
防禦措施:
- 攝入淨化
- 信任評分
- 元數據隔離
- 文檔來源
- 檢索策略
- 分段
案例研究:“上傳一個被投毒的PDF並接管AI助手。”
模塊6 — 代理式AI安全
實驗:實驗05 — 05-代理安全
事情變得危險的地方。
主題:
- 過度代理
- 工具濫用
- API鏈式調用
- 自主循環
- 權限提升
- 內存投毒
- 間接工具執行
- 代理冒充
- 憑證泄露
- 多代理攻擊
防禦措施:
- 代理的最小權限
- 審批門
- 運行時策略引擎
- 沙盒
- 範圍憑證
- 工具白名單
- 人在環中
這是管理者通常最關心的部分,因爲風險會影響到業務運營。
模塊7 — AI的API安全
實驗:實驗06 — 06-錢包耗盡
AI系統重度依賴API。
主題:
- API網關
- GraphQL AI風險
- MCP/API濫用
- JWT保護
- AI插件安全
- 代理身份驗證
- 委託授權
- 祕密管理
- 簽名提示
- AI的API清單
結合:OWASP API安全Top 10
模塊8 — 檢測工程與SOC集成
實驗:實驗07 — 07-檢測
操作防禦。
主題:
- AI遙測
- 提示日誌
- 令牌分析
- 異常檢測
- 語義SIEM管道
- AI攻擊指標
- LLM濫用的威脅狩獵
- AI運行時可觀測性
示例:
- 檢測越獄活動
- 發現自動代理濫用
- 識別模型抓取
模塊9 — 雲WAF與AI安全
實驗:無 — 互動回顧/討論
供應商特定的實現。
主題:
- AWS WAF for AI API
- Azure WAF
- Cloudflare AI網關
- API網關
- Envoy AI過濾
- Kong AI網關
- NGINX AI安全模式
比較:
- 傳統WAF vs AI網關 vs 應用層防護欄
- 基於代理的 vs 語義過濾
模塊10 — 構建分層AI防禦
實驗:實驗08 — 08-分層防禦
重要的哲學結論:
沒有任何單一防護層可以保護AI(尤其是WAF,單獨使用)。
學員構建分層模型:
- WAF
- API網關
- AI網關
- 防護欄
- 運行時監控
- 身份/授權
- 沙盒
- 人工審批
- 可觀測性
- 事件響應
這與“多層安全”模型高度一致。
模塊 ↔ 實驗映射
實驗按模塊順序進行。
本課程有10個模塊,但只有8個實驗:模塊2和9爲互動回顧/討論,無實驗。
每個實驗在本大綱中均標有其所屬模塊。
- 實驗01 (模塊1)
- 文件夾: 01-介紹
- 標題: 探索AI系統 — 網絡上的內容
- 實驗02 (模塊3)
- 文件夾: 02-提示注入
- 標題: 攻擊聊天機器人並繞過簡單過濾
- 實驗03 (模塊4)
- 文件夾: 03-WAF基礎
- 標題: 構建AI感知的WAF規則
- 實驗04 (模塊5)
- 文件夾: 04-RAG安全
- 標題: 投毒RAG管道
- 實驗05 (模塊6)
- 文件夾: 05-代理安全
- 標題: 保護自主代理
- 實驗06 (模塊7)
- 文件夾: 06-錢包耗盡
- 標題: 檢測錢包耗盡攻擊
- 實驗07 (模塊8)
- 文件夾: 07-檢測
- 標題: 在日誌中監控AI濫用模式
- 實驗08 (模塊10)
- 文件夾: 08-分層防禦
- 標題: 構建分層AI防禦架構
結業項目
學員將防禦一個模擬的企業AI助手。
攻擊者嘗試:
- 提示注入
- 工具濫用
- 憑證竊取
- 檢索投毒
- 過度API消耗
- 代理升級
團隊將構建:
- WAF規則
- AI網關策略
- 運行時檢測
- 防護欄
- 事件響應
最低要求
- 學員應具備HTTP/API安全、代理/反向代理、身份驗證、OWASP Top 10、REST API和基本雲網絡知識
受衆
- 安全工程師與應用安全
- SOC分析師與檢測工程師
- API安全工程師
- 雲/API/平臺安全
- DevSecOps工程師
- 安全架構師
- WAF/網絡安全專家
- AI平臺工程師
客戶評論 (2)
我非常喜歡學習關於AI攻擊的內容,以及那些可以開始實踐並積極用於安全測試的工具。我學到了很多之前不瞭解的知識,課程也達到了我的期望。培訓中我最喜歡的部分是Comet Browser,它的功能讓我感到驚歎。這絕對是我會進一步研究的內容。總體來說,這是一門很棒的課程,我很享受學習所有OWASP GenAI Top 10的內容。
Patrick Collins - Optum
課程 - OWASP GenAI Security
機器翻譯
他的專業知識以及他在我們面前展示的方式
Miroslav Nachev - PUBLIC COURSE
課程 - Cybersecurity in AI Systems
機器翻譯