課程簡介
第一天:基礎與核心威脅
模組 1:OWASP GenAI安全專案介紹(1小時)
學習目標:
- 了解從OWASP Top 10到GenAI特定安全挑戰的演進
- 探索OWASP GenAI安全專案生態系與資源
- 識別傳統應用安全與AI安全之間的關鍵差異
涵蓋主題:
- OWASP GenAI安全專案的使命與範圍概述
- Threat Defense COMPASS框架介紹
- 理解AI安全景況與法規要求
- AI攻擊面與傳統Web應用漏洞之比較
實作練習: 設定OWASP Threat Defense COMPASS工具並執行初步威脅評估
模組 2:OWASP Top 10 for LLMs - 第一部分(2.5小時)
學習目標:
- 掌握前五項關鍵LLM漏洞
- 理解攻擊向量與利用技術
- 應用實務緩解策略
涵蓋主題:
LLM01:提示注入
- 直接與間接提示注入技術
- 隱藏指令攻擊與跨提示污染
- 實務範例:破解聊天機器機並繞過安全機制
- 防禦策略:輸入清理、提示過濾、差異隱私
LLM02:敏感資訊洩露
- 訓練數據提取與系統提示洩漏
- 針對敏感資訊暴露的模型行為分析
- 隱私影響與法規合規考量
- 緩解措施:輸出過濾、存取控制、數據匿名化
LLM03:供應鏈漏洞
- 第三方模型依賴與外掛安全性
- 遭竊取的訓練數據集與模型投毒
- AI元件供應商風險評估
- 安全模型部署與驗證實務
實作練習: 動手實驗室,針對易受攻擊的LLM應用演示提示注入攻擊並實施防禦措施
模組 3:OWASP Top 10 for LLMs - 第二部分(2小時)
涵蓋主題:
LLM04:數據與模型投毒
- 訓練數據操縱技術
- 透過投毒輸入修改模型行為
- 後門攻擊與數據完整性驗證
- 預防措施:數據驗證管線、來源追蹤
LLM05:不當輸出處理
- LLM生成內容的不安全處理
- 透過AI生成輸出的程式碼注入
- 透過AI回應的跨站腳本攻擊(XSS)
- 輸出驗證與清理框架
實作練習: 模擬數據投毒攻擊並實施穩健的輸出驗證機制
模組 4:進階LLM威脅(1.5小時)
涵蓋主題:
LLM06:過度代理權限
- 自主決策風險與邊界違規
- 代理權威與權限管理
- 非預期的系統交互與特權提升
- 實施護欄與人類監督控制
LLM07:系統提示洩漏
- 系統指令暴露漏洞
- 透過提示洩露憑證與邏輯
- 提取系統提示的攻擊技術
- 保護系統指令與外部配置
實作練習: 設計具備適當存取控制與監控的安全代理架構
第二天:進階威脅與實施
模組 5:新興AI威脅(2小時)
學習目標:
- 理解最前沿的AI安全威脅
- 實施進階偵測與預防技術
- 設計能抵禦複雜攻擊的彈性AI系統
涵蓋主題:
LLM08:向量與嵌入弱點
- RAG系統漏洞與向量數據庫安全性
- 嵌入投毒與相似度操縱攻擊
- 語義搜索中的對抗樣本
- 保護向量存儲並實施異常偵測
LLM09:錯誤資訊與模型可靠性
- 幻覺偵測與緩解
- 偏差放大與公平性考量
- 事實查核與來源驗證機制
- 內容驗證與人類監督整合
LLM10:無界資源消耗
- 資源耗盡與拒絕服務攻擊
- 速率限制與資源管理策略
- 成本優化與預算控制
- 效能監控與警報系統
實作練習: 構建具備向量數據庫保護與幻覺偵測的安全RAG管線
模組 6:代理式AI安全(2小時)
學習目標:
- 理解自主AI代理的獨特安全挑戰
- 將OWASP Agentic AI分類法應用於實際系統
- 為多代理環境實施安全控制
涵蓋主題:
- Agentic AI與自主系統介紹
- OWASP Agentic AI威脅分類法:代理設計、記憶、規劃、工具使用、部署
- 多代理系統安全與協調風險
- 工具濫用、記憶投毒與目標劫持攻擊
- 保護代理溝通與決策流程
實作練習: 使用OWASP Agentic AI分類法對多代理客服系統進行威脅建模
模組 7:OWASP Threat Defense COMPASS實施(2小時)
學習目標:
- 掌握Threat Defense COMPASS的實務應用
- 將AI威脅評估整合至組織安全計畫
- 制定全面的AI風險管理策略
涵蓋主題:
- 深入探討Threat Defense COMPASS方法論
- OODA循環整合:觀察、定位、決策、行動
- 將威脅對應至MITRE ATT&CK與ATLAS框架
- 構建AI威脅韌性策略儀表板
- 與現有安全工具及流程整合
實作練習: 使用COMPASS為Microsoft Copilot部署場景完成威脅評估
模組 8:實務實施與最佳實務(2.5小時)
學習目標:
- 從零開始設計安全的AI架構
- 為AI系統實施監控與事件回應
- 建立AI安全治理框架
涵蓋主題:
安全AI開發生命週期:
- AI應用的安全設計原則
- LLM整合的程式碼審查實務
- 測試方法論與漏洞掃描
- 部署安全與生產環境加固
監控與偵測:
- AI專屬日誌與監控需求
- AI系統的異常偵測
- AI安全事件的事件回應程序
- 法醫與調查技術
治理與合規:
- AI風險管理框架與政策
- 法規合規考量(GDPR、AI法案等)
- AI供應商第三方風險評估
- AI開發團隊的安全意識培訓
實作練習: 為企業AI聊天機器機設計完整的安全架構,包括監控、治理與事件回應程序
模組 9:工具與技術(1小時)
學習目標:
- 評估並實施AI安全工具
- 理解當前AI安全解決方案景況
- 建立實務的偵測與預防能力
涵蓋主題:
- AI安全工具生態系與供應商景況
- 開源安全工具:Garak、PyRIT、Giskard
- AI安全與監控的商業解決方案
- 整合模式與部署策略
- 工具選擇標準與評估框架
實作練習: 動手演示AI安全測試工具並規劃實施
模組 10:未來趨勢與總結(1小時)
學習目標:
- 理解新興威脅與未來安全挑戰
- 制定持續學習與改進策略
- 為組織AI安全計畫制定行動計畫
涵蓋主題:
- 新興威脅:Deepfakes、進階提示注入、模型反演
- OWASP GenAI專案未來的發展與路線圖
- 建立AI安全社群與知識分享
- 持續改進與威脅情報整合
行動規劃練習: 制定90天行動計畫,以在參與者組織中實施OWASP GenAI安全實務
最低要求
- 對Web應用安全原則有一般性了解
- 熟悉AI/ML基本概念
- 建議具備安全框架或風險評估方法論的經驗
受眾
- 网络安全專業人士
- AI開發人員
- 系統架構師
- 合規官員
- 安全實務工作者
客戶評論 (1)
我非常喜歡學習關於AI攻擊的內容,以及那些可以開始實踐並積極用於安全測試的工具。我學到了很多之前不瞭解的知識,課程也達到了我的期望。培訓中我最喜歡的部分是Comet Browser,它的功能讓我感到驚歎。這絕對是我會進一步研究的內容。總體來說,這是一門很棒的課程,我很享受學習所有OWASP GenAI Top 10的內容。
Patrick Collins - Optum
課程 - OWASP GenAI Security
機器翻譯