課程簡介
第1天
現代AI代理的解剖
超越聊天機器人,代理作爲自主推理和行動系統
反應式、主動式、混合式和目標導向式代理範式
核心組件:感知、規劃、記憶、工具使用、行動
單代理與多代理設計的權衡
代理框架與現代技術棧
LangChain、LlamaIndex、AutoGen、CrewAI及其權衡
與JADE和SPADE等經典框架的比較
根據生產需求選擇框架
工具調用、函數調用和結構化輸出
實踐:使用工具調用搭建一個Python代理
多代理系統架構
集中式、分佈式、混合式和分層式MAS設計
FIPA ACL、消息傳遞及其現代等效方案
協調模式:規劃、協商、同步
代理羣體中的湧現行爲與自組織
代理中的決策與學習
用於合作與競爭代理交互的博弈論
多代理環境中的強化學習
跨代理的遷移學習與知識共享
協調代理之間的衝突解決與信任
第2天
多模態代理基礎
多模態AI作爲跨文本、圖像、語音和視頻的統一工作流程
領先的多模態模型:GPT-4 Vision、Gemini、Claude、Whisper
在代理的推理循環中融合多模態的技術
多模態管道中的延遲、成本和準確性權衡
構建感知層
代理的圖像處理:分類、字幕生成、目標檢測
使用Whisper ASR進行語音識別與流式轉錄
文本到語音合成與自然語音交互
將感知輸出連接到LLM驅動的推理與工具選擇
實踐 - 在Python中構建多模態代理
定義代理的任務、上下文窗口和工具庫
端到端連接GPT-4 Vision和Whisper API
實現記憶、狀態和對話管理
添加能夠安全產生現實世界副作用的工具調用
實踐 - 協調多代理系統
使用AutoGen或CrewAI組合專用代理
定義角色、職責和代理間通信協議
在模擬環境中進行資源分配與協調
記錄代理的推理、工具調用和決策以供檢查和審計
第3天
生產AI代理的威脅面
與傳統軟件相比,代理AI的獨特脆弱性
攻擊面:數據、模型、提示、工具、輸出和接口層
基於自主工具使用的代理系統的威脅建模
將AI網絡安全實踐與傳統網絡安全進行比較
對抗攻擊實踐
對抗樣本與擾動方法:FGSM、PGD、DeepFool
白盒與黑盒攻擊場景
模型反演與成員推理攻擊
訓練期間的數據投毒與後門注入
基於LLM的代理中的提示注入、越獄和工具濫用
防禦技術與模型硬化
對抗訓練與數據增強策略
防禦蒸餾與其他魯棒性技術
輸入預處理、梯度掩碼與正則化
差分隱私、噪聲注入與隱私預算
分佈式訓練中的聯邦學習與安全聚合
對抗魯棒性工具箱實踐
模擬對第2天構建的多模態代理的攻擊
在擾動下測量魯棒性並量化性能下降
迭代應用防禦並重新評估攻擊成功率
壓力測試工具調用路徑與提示注入向量
第4天
AI風險管理框架
NIST AI風險管理框架:治理、映射、測量、管理
ISO/IEC 42001與新興的AI特定標準
將AI風險映射到現有的企業GRC框架
AI責任、可審計性與文檔要求
代理系統的法規合規性
歐盟AI法案:風險等級、禁止用途與高風險系統的義務
GDPR與CCPA對代理數據管道的影響
美國關於安全、可靠和可信AI的行政命令
金融、醫療和公共服務的行業特定指南
第三方風險與供應商AI工具使用
倫理、偏見與可解釋性
在代理感知與推理中檢測與緩解偏見
可解釋性與透明度作爲安全相關屬性
公平性、下游危害與負責任部署
設計包容且可審計的代理行爲
生產部署、監控與事件響應
單代理與多代理系統的安全部署模式
持續監控漂移、異常與濫用
記錄、審計軌跡與代理行動的取證準備
AI安全事件響應手冊與恢復
真實世界AI漏洞的案例研究與經驗教訓
總結與展望
回顧課程中構建的多模態多代理系統
端到端管道回顧:設計、構建、安全、治理、部署
根據NIST AI RMF功能進行自我評估
展望代理AI與AI安全的新興趨勢
總結與下一步
最低要求
目標受衆
爲生產用途構建代理系統的AI工程師和架構師。負責金融、醫療和諮詢等受監管行業中AI保障的網絡安全、風險和合規專業人員。將多模態和多代理功能嵌入企業平臺的高級開發人員和解決方案負責人。
客戶評論 (3)
培訓師很有耐心,也非常樂於助人。他對主題非常瞭解。
CLIFFORD TABARES - Universal Leaf Philippines, Inc.
課程 - Agentic AI for Business Automation: Use Cases & Integration
機器翻譯
知識與實踐的良好結合
Ion Mironescu - Facultatea S.A.I.A.P.M.
課程 - Agentic AI for Enterprise Applications
機器翻譯
理論與實踐的結合,以及高層與底層視角的融合
Ion Mironescu - Facultatea S.A.I.A.P.M.
課程 - Autonomous Decision-Making with Agentic AI
機器翻譯