聯繫我們

課程簡介

模塊1 — AI應用如何崩潰

實驗:無——架構演練與討論

構建者對攻擊面的心理模型。

主題:

  • 從開發者角度看待LLM、RAG和代理架構
  • AI功能的請求/響應生命週期
  • 提示流:系統、開發者、用戶和工具消息
  • 不受信任數據進入(和重新進入)模型的位置
  • 開發者擁有與繼承的信任邊界
  • 爲什麼AI攻擊是語義的,而非語法的
  • 將OWASP LLM Top 10映射到你編寫的代碼

關鍵洞察:不受信任的文本到達模型的每個位置——或模型輸出到達你的代碼——都是你擁有的邊界。

模塊2 — 構建者的提示注入

實驗:實驗01 — 01-提示注入

AI的“SQL注入時刻”——但你無法完全避免它。

主題:

  • 直接與間接提示注入
  • 文檔、網頁、工具輸出中的隱藏指令
  • 越獄和角色混淆
  • 爲什麼指令/數據分離重要
  • 防禦性提示設計(分隔符、結構、最小權限)
  • 爲什麼預防是部分的——設計以限制影響範圍

動手操作:

  • 攻擊你自己的聊天機器人
  • 繞過天真的過濾器
  • 重新構建提示以縮小影響範圍

模塊3 — 將模型輸出視爲不受信任

實驗:實驗02 — 02-輸出處理

開發者最低估的漏洞類別。

主題:

  • 模型輸出作爲應用其他部分的不受信任輸入
  • 不安全的輸出處理(LLM02):下游的XSS、SSRF、命令/SQL注入
  • 切勿eval/exec/渲染原始模型輸出
  • 結構化輸出和模式驗證
  • 輸出編碼和允許列表
  • 在Web/UI上下文中安全渲染

動手操作:

  • 發現並修復不安全的輸出處理漏洞
  • 對模型響應強制執行JSON模式

模塊4 — RAG安全性

實驗:實驗03 — 03-RAG安全性

最大的新攻擊面之一——而你需要構建它。

主題:

  • 向量數據庫和檢索威脅
  • 攝取清理
  • 文檔來源和信任評分
  • 檢索範圍界定和元數據隔離
  • 檢索內容中的隱藏指令(間接注入)
  • 通過檢索進行數據外泄

動手操作:- 用惡意文檔毒化RAG管道 - 添加攝取清理和檢索範圍界定以防禦

模塊5 — 代理與工具安全性

實驗:實驗04 — 04-代理安全性

漏洞變成行動的地方。

主題:

  • 過度代理(LLM06)和工具濫用
  • 代理的最小權限
  • 工具允許列表和參數驗證
  • 審批門控和人在環路
  • 沙盒化工具執行
  • 代理的範圍界定、短壽命憑據
  • 限制自主循環和鏈式調用

動手操作:

  • 鎖定一個過度授權的代理
  • 爲危險工具添加允許列表+審批門控

模塊6 — 密鑰、身份與成本

實驗:實驗05 — 05-密鑰與成本

操作失誤最快造成傷害的地方。

主題:

  • API密鑰和祕密管理(切勿在提示、代碼或日誌中)
  • AI功能的每用戶認證和授權
  • 將用戶身份傳播到工具和檢索
  • 錢包拒絕:無限制的令牌/成本消耗
  • 速率限制、令牌預算和超時
  • 日誌記錄不泄露祕密或PII

動手操作:

  • 將祕密從提示/代碼路徑中移除
  • 添加每用戶速率限制和令牌/成本預算

模塊7 — 護欄庫

實驗:實驗06 — 06-護欄

輸入/輸出安全性的購買與構建。

主題:

  • 護欄框架的功能(和不具備的功能)
  • 輸入護欄:注入/PII/主題分類器
  • 輸出護欄:驗證、過濾、基礎檢查
  • 何時使用護欄而非你自己的確定性檢查
  • 將護欄與早期模塊的控制層結合
  • 性能、誤報和失敗模式

動手操作:

  • 爲AI功能添加輸入/輸出護欄層
  • 測量其捕捉和遺漏的內容

模塊8 — 對自身應用進行紅隊測試

實驗:實驗07 — 07-紅隊測試

像攻擊者已經擁有它一樣發佈。

主題:

  • 爲AI功能構建濫用/測試套件
  • 自動化的提示注入和越獄測試
  • 護欄和策略的迴歸測試
  • 在CI中運行AI安全檢查
  • 模型和依賴供應鏈(來源、固定)
  • AI功能的發佈前安全清單

動手操作:

  • 爲AI功能編寫自動化紅隊測試
  • 將其集成到CI檢查中

模塊9 — 評分AI安全性:SAIS-100框架

實驗:無——評分練習(使用Capstone應用)

將你構建的所有內容轉化爲可重複的評分。

主題:

  • AI安全六邊形:六個問題而非“它是否安全?”
  • 六個評分類別(數據、提示、代理、供應鏈、檢測、治理)
  • 100分評分標準及其權重
  • 判決帶和單一類別覆蓋規則
  • Elephant Scale安全AI評分(SAIS-100)作爲品牌化、可重複的框架
  • 硬化前後的評分作爲指標

動手操作:

  • 對Capstone應用進行100分評分
  • 命名最能提高分數的單一更改

關鍵洞察:三個最高權重的類別映射到開發者擁有的信任邊界——因此評分準確衡量了本課程所教授的內容。

Capstone

學員從頭到尾加固一個故意設計爲脆弱的AI應用。

起始應用包含:

  • 可注入的提示
  • 不安全的輸出處理
  • 未界定範圍的RAG管道
  • 過度授權的代理
  • 提示路徑中的祕密
  • 無成本限制

學員應用課程內容:

  • 重新構建提示以限制影響範圍
  • 驗證和編碼模型輸出
  • 清理和界定檢索
  • 對代理應用最小權限和審批門控
  • 移除祕密並添加成本/速率限制
  • 添加護欄和自動化紅隊測試

交付成果:加固的應用加上簡短的OWASP LLM Top 10自我評估。

模塊 - 實驗映射

實驗按模塊順序運行。課程有9個模塊和7個實驗:模塊1是架構演練/討論,模塊9是評分練習,因此它們沒有獨立的實驗文件夾。

  • 實驗01 - 01-提示注入:攻擊你的聊天機器人並設計以限制影響範圍(模塊2)
  • 實驗02 - 02-輸出處理:修復不安全的輸出處理漏洞(模塊3)
  • 實驗03 - 03-RAG安全性:毒化並防禦RAG管道(模塊4)
  • 實驗04 - 04-代理安全性:鎖定過度授權的代理(模塊5)
  • 實驗05 - 05-密鑰與成本:保護密鑰並添加成本護欄(模塊6)
  • 實驗06 - 06-護欄:添加輸入/輸出護欄層(模塊7)
  • 實驗07 - 07-紅隊測試:在CI中運行自動化紅隊測試(模塊8)

模塊1(AI應用如何崩潰)沒有實驗——它作爲架構演練和討論進行。模塊9(評分AI安全性)沒有實驗文件夾——它作爲對Capstone應用的評分練習進行。

最低要求

  • 技能水平:中級。
  • 學員應熟悉:構建和消費REST API、腳本語言(實驗使用Python)、基本應用認證、git和CLI。
  • 無需機器學習背景——這是爲使用LLM構建應用的人員設計的應用安全課程,而非爲訓練模型的人員。

受衆

  • 構建LLM功能的軟件/後端工程師
  • 全棧和API開發者
  • AI/ML應用工程師
  • 發佈副駕駛和代理的平臺工程師
  • 擁有AI功能的技術負責人和高級工程師
 21 小時

人數


每位參與者的報價

客戶評論 (2)

即將到來的課程

課程分類