課程簡介
模塊1 — AI應用如何崩潰
實驗:無——架構演練與討論
構建者對攻擊面的心理模型。
主題:
- 從開發者角度看待LLM、RAG和代理架構
- AI功能的請求/響應生命週期
- 提示流:系統、開發者、用戶和工具消息
- 不受信任數據進入(和重新進入)模型的位置
- 開發者擁有與繼承的信任邊界
- 爲什麼AI攻擊是語義的,而非語法的
- 將OWASP LLM Top 10映射到你編寫的代碼
關鍵洞察:不受信任的文本到達模型的每個位置——或模型輸出到達你的代碼——都是你擁有的邊界。
模塊2 — 構建者的提示注入
實驗:實驗01 — 01-提示注入
AI的“SQL注入時刻”——但你無法完全避免它。
主題:
- 直接與間接提示注入
- 文檔、網頁、工具輸出中的隱藏指令
- 越獄和角色混淆
- 爲什麼指令/數據分離重要
- 防禦性提示設計(分隔符、結構、最小權限)
- 爲什麼預防是部分的——設計以限制影響範圍
動手操作:
- 攻擊你自己的聊天機器人
- 繞過天真的過濾器
- 重新構建提示以縮小影響範圍
模塊3 — 將模型輸出視爲不受信任
實驗:實驗02 — 02-輸出處理
開發者最低估的漏洞類別。
主題:
- 模型輸出作爲應用其他部分的不受信任輸入
- 不安全的輸出處理(LLM02):下游的XSS、SSRF、命令/SQL注入
- 切勿eval/exec/渲染原始模型輸出
- 結構化輸出和模式驗證
- 輸出編碼和允許列表
- 在Web/UI上下文中安全渲染
動手操作:
- 發現並修復不安全的輸出處理漏洞
- 對模型響應強制執行JSON模式
模塊4 — RAG安全性
實驗:實驗03 — 03-RAG安全性
最大的新攻擊面之一——而你需要構建它。
主題:
- 向量數據庫和檢索威脅
- 攝取清理
- 文檔來源和信任評分
- 檢索範圍界定和元數據隔離
- 檢索內容中的隱藏指令(間接注入)
- 通過檢索進行數據外泄
動手操作:- 用惡意文檔毒化RAG管道 - 添加攝取清理和檢索範圍界定以防禦
模塊5 — 代理與工具安全性
實驗:實驗04 — 04-代理安全性
漏洞變成行動的地方。
主題:
- 過度代理(LLM06)和工具濫用
- 代理的最小權限
- 工具允許列表和參數驗證
- 審批門控和人在環路
- 沙盒化工具執行
- 代理的範圍界定、短壽命憑據
- 限制自主循環和鏈式調用
動手操作:
- 鎖定一個過度授權的代理
- 爲危險工具添加允許列表+審批門控
模塊6 — 密鑰、身份與成本
實驗:實驗05 — 05-密鑰與成本
操作失誤最快造成傷害的地方。
主題:
- API密鑰和祕密管理(切勿在提示、代碼或日誌中)
- AI功能的每用戶認證和授權
- 將用戶身份傳播到工具和檢索
- 錢包拒絕:無限制的令牌/成本消耗
- 速率限制、令牌預算和超時
- 日誌記錄不泄露祕密或PII
動手操作:
- 將祕密從提示/代碼路徑中移除
- 添加每用戶速率限制和令牌/成本預算
模塊7 — 護欄庫
實驗:實驗06 — 06-護欄
輸入/輸出安全性的購買與構建。
主題:
- 護欄框架的功能(和不具備的功能)
- 輸入護欄:注入/PII/主題分類器
- 輸出護欄:驗證、過濾、基礎檢查
- 何時使用護欄而非你自己的確定性檢查
- 將護欄與早期模塊的控制層結合
- 性能、誤報和失敗模式
動手操作:
- 爲AI功能添加輸入/輸出護欄層
- 測量其捕捉和遺漏的內容
模塊8 — 對自身應用進行紅隊測試
實驗:實驗07 — 07-紅隊測試
像攻擊者已經擁有它一樣發佈。
主題:
- 爲AI功能構建濫用/測試套件
- 自動化的提示注入和越獄測試
- 護欄和策略的迴歸測試
- 在CI中運行AI安全檢查
- 模型和依賴供應鏈(來源、固定)
- AI功能的發佈前安全清單
動手操作:
- 爲AI功能編寫自動化紅隊測試
- 將其集成到CI檢查中
模塊9 — 評分AI安全性:SAIS-100框架
實驗:無——評分練習(使用Capstone應用)
將你構建的所有內容轉化爲可重複的評分。
主題:
- AI安全六邊形:六個問題而非“它是否安全?”
- 六個評分類別(數據、提示、代理、供應鏈、檢測、治理)
- 100分評分標準及其權重
- 判決帶和單一類別覆蓋規則
- Elephant Scale安全AI評分(SAIS-100)作爲品牌化、可重複的框架
- 硬化前後的評分作爲指標
動手操作:
- 對Capstone應用進行100分評分
- 命名最能提高分數的單一更改
關鍵洞察:三個最高權重的類別映射到開發者擁有的信任邊界——因此評分準確衡量了本課程所教授的內容。
Capstone
學員從頭到尾加固一個故意設計爲脆弱的AI應用。
起始應用包含:
- 可注入的提示
- 不安全的輸出處理
- 未界定範圍的RAG管道
- 過度授權的代理
- 提示路徑中的祕密
- 無成本限制
學員應用課程內容:
- 重新構建提示以限制影響範圍
- 驗證和編碼模型輸出
- 清理和界定檢索
- 對代理應用最小權限和審批門控
- 移除祕密並添加成本/速率限制
- 添加護欄和自動化紅隊測試
交付成果:加固的應用加上簡短的OWASP LLM Top 10自我評估。
模塊 - 實驗映射
實驗按模塊順序運行。課程有9個模塊和7個實驗:模塊1是架構演練/討論,模塊9是評分練習,因此它們沒有獨立的實驗文件夾。
- 實驗01 - 01-提示注入:攻擊你的聊天機器人並設計以限制影響範圍(模塊2)
- 實驗02 - 02-輸出處理:修復不安全的輸出處理漏洞(模塊3)
- 實驗03 - 03-RAG安全性:毒化並防禦RAG管道(模塊4)
- 實驗04 - 04-代理安全性:鎖定過度授權的代理(模塊5)
- 實驗05 - 05-密鑰與成本:保護密鑰並添加成本護欄(模塊6)
- 實驗06 - 06-護欄:添加輸入/輸出護欄層(模塊7)
- 實驗07 - 07-紅隊測試:在CI中運行自動化紅隊測試(模塊8)
模塊1(AI應用如何崩潰)沒有實驗——它作爲架構演練和討論進行。模塊9(評分AI安全性)沒有實驗文件夾——它作爲對Capstone應用的評分練習進行。
最低要求
- 技能水平:中級。
- 學員應熟悉:構建和消費REST API、腳本語言(實驗使用Python)、基本應用認證、git和CLI。
- 無需機器學習背景——這是爲使用LLM構建應用的人員設計的應用安全課程,而非爲訓練模型的人員。
受衆
- 構建LLM功能的軟件/後端工程師
- 全棧和API開發者
- AI/ML應用工程師
- 發佈副駕駛和代理的平臺工程師
- 擁有AI功能的技術負責人和高級工程師
客戶評論 (2)
我非常喜歡學習關於AI攻擊的內容,以及那些可以開始實踐並積極用於安全測試的工具。我學到了很多之前不瞭解的知識,課程也達到了我的期望。培訓中我最喜歡的部分是Comet Browser,它的功能讓我感到驚歎。這絕對是我會進一步研究的內容。總體來說,這是一門很棒的課程,我很享受學習所有OWASP GenAI Top 10的內容。
Patrick Collins - Optum
課程 - OWASP GenAI Security
機器翻譯
他的專業知識以及他在我們面前展示的方式
Miroslav Nachev - PUBLIC COURSE
課程 - Cybersecurity in AI Systems
機器翻譯