多模態AI代理:集成文本、圖像和語音培訓
多模態AI代理正在通過整合文本、圖像、語音和視頻處理能力,徹底改變人機交互方式。
本次由講師指導的培訓(線上或線下)面向中高級AI開發者、研究人員和多媒體工程師,旨在幫助他們構建能夠理解和生成多模態內容的AI代理。
培訓結束後,參與者將能夠:
- 開發能夠處理和整合文本、圖像和語音數據的AI代理。
- 實現多模態模型,如GPT-4 Vision和Whisper ASR。
- 優化多模態AI管道,提高效率和準確性。
- 在實際應用中部署多模態AI代理。
課程形式
- 互動講座和討論。
- 大量練習和實踐。
- 在即時實驗室環境中進行動手操作。
課程定製選項
- 如需爲本課程定製培訓,請聯繫我們進行安排。
課程簡介
多模態AI簡介
- 什麼是多模態AI?
- 主要挑戰與應用
- 領先多模態模型概覽
文本處理與自然語言理解
- 利用LLMs構建基於文本的AI代理
- 理解多模態任務的提示工程
- 針對特定領域微調文本模型
圖像識別與生成
- 使用AI處理圖像:分類、描述與目標檢測
- 使用擴散模型生成圖像(Stable Diffusion, DALLE)
- 將圖像數據與基於文本的模型集成
語音與音頻處理
- 使用Whisper ASR進行語音識別
- 文本到語音(TTS)合成技術
- 增強基於語音的AI用戶交互
集成多模態輸入
- 構建處理多種輸入類型的AI管道
- 融合技術:結合文本、圖像與語音數據
- 多模態AI代理的實際應用
部署多模態AI代理
- 構建API驅動的多模態AI解決方案
- 優化模型以提高性能與可擴展性
- 在生產中部署多模態AI的最佳實踐
倫理考量與未來趨勢
- 多模態AI中的偏見與公平性
- 多模態數據的隱私問題
- 多模態AI的未來發展
總結與下一步
最低要求
- 瞭解機器學習基礎知識
- 具備Python編程經驗
- 熟悉深度學習框架(如TensorFlow、PyTorch)
受衆
- AI開發者
- 研究人員
- 多媒體工程師
公開培訓課程需要5名以上參與者。
多模態AI代理:集成文本、圖像和語音培訓 - 訂單
多模態AI代理:集成文本、圖像和語音培訓 - 詢問
多模態AI代理:集成文本、圖像和語音 - 咨詢詢問
即將到來的課程
相關課程
使用 Gemini 3 與 Google Antigravity 進行代理式開發
21 小時Google Antigravity 是一個專為打造自主代理(Autonomous Agents)而設計的代理開發環境。透過 Gemini 3 的多模態能力,這些代理能夠進行規劃、推理、編碼與執行動作。
本課程為講師授課的實時培訓(線上或線下),面向高階技術從業者,旨在協助學員設計、建置並部署利用 Gemini 3 及 Antigravity 環境的自主代理。
完成本課程後,學員將具備以下能力:
- 構建利用 Gemini 3 進行推理、規劃與執行的自主工作流。
- 在 Antigravity 中開發代理,實現任務分析、代碼撰寫及工具互動。
- 將 Gemini 驅動的代理與企業系統及 API 整合。
- 在複雜環境中優化代理的行為、安全性與可靠性。
課程形式
- 結合專家示範與互動式討論。
- 進行自主代理開發的實地實驗。
- 運用 Antigravity、Gemini 3 及相關雲端工具進行實務實施。
課程客製化選項
- 若貴團隊需要特定領域的代理行為或客製化整合,請聯繫我們以量身打造課程。
進階 Antigravity:回饋迴路、學習與長期代理記憶體
14 小時Google Antigravity 是一個用於實驗長期存續代理與突現互動行為的進階框架。
此課程為講師主導的線上或线下培訓,旨在幫助進階專業人員設計、分析和優化能夠保留記憶、透過回饋改進並隨長期運作時間演化的代理系統。
完成此課程後,學員將掌握以下技能:
- 設計長期記憶體結構以實現代理持久化。
- 實施有效的回饋迴路以塑造代理行為。
- 評估學習軌跡與模型漂移。
- 將記憶體機制整合到複雜的多代理生態系統中。
課程形式
- 專家主導的討論結合技術演示。
- 透過結構化設計挑戰進行實作探索。
- 將概念應用於模擬代理環境。
課程客製化選項
- 若您的組織需要量身打造的內容或特定案例範例,請聯繫我們以客製化此培訓。
高級Mastra集成:API、工具、企業數據與外部系統
21 小時Mastra是一個支持AI代理、API、企業應用和外部數據系統之間深度集成的框架。
本課程爲講師指導的培訓(線上或線下),面向希望構建Mastra代理與企業生態系統之間可靠、安全且可擴展集成的中級工程師。
培訓結束後,學員將能夠:
- 實現Mastra代理與外部服務之間的API驅動集成。
- 將企業數據系統和工具連接到自動化代理工作流。
- 應用安全數據交換和身份驗證的最佳實踐。
- 設計可擴展、可維護且生產就緒的集成層。
課程形式
- 互動講座與討論。
- 動手實踐集成工程與API練習。
- 使用真實企業場景進行即時實驗室實現。
課程定製選項
- 可根據要求提供定製的API場景、企業系統映射或數據集成工作坊。
互動式AI代理:AgentCore記憶、程式碼直譯器與瀏覽器工具實務
14 小時AgentCore提供記憶持久性、安全的程式碼直譯器與瀏覽器工具,使AI代理能交付互動式、動態且感知情境的體驗。
此課程為由講師帶領的線上或現場培訓,專為中高階技術人員設計,旨在協助其設計與部署具備長期情境保留、即時計算及直接與網頁UI互動能力的AI代理。
完成本課程後,學員將能夠:
- 實作AgentCore記憶,以建立狀態化且感知情境的工作流程。
- 利用安全的程式碼直譯器進行動態計算與轉換。
- 整合瀏覽器工具,實現即時資料擷取與UI互動。
- 設計用於分析、客戶支援與研究案例的互動式代理。
課程形式
- 互動式講授與討論。
- 使用AgentCore記憶與工具的實作實驗室練習。
- 分析、自動化與客戶支援情境的案例研究。
課程客製化選項
- 若要申請本課程的客製化培訓,請聯繫我們安排。
使用AgentCore Runtime & Gateway加速AI代理部署
14 小時AgentCore Runtime & Gateway 是一種 AWS 服務配對,用於打包、部署並安全地暴露 AI 代理,同時提供與外部系統的簡化集成。
本次由講師主導的培訓(線上或線下)面向中級工程團隊,旨在幫助他們從代理原型過渡到生產環境,通過掌握 AgentCore Runtime 進行部署,並利用 Gateway 實現安全連接和 API 集成。
培訓結束後,參與者將能夠:
- 搭建 AgentCore Runtime 環境,並打包代理以進行部署。
- 通過 Gateway 暴露代理,提供經過身份驗證和速率限制的端點。
- 使用穩定合約將外部工具和 API 集成到代理工作流中。
- 爲生產操作配置可觀察性、日誌記錄和使用監控。
課程形式
- 互動式講座和討論。
- 實踐實驗室,涉及 Runtime 部署和 Gateway 集成。
- 專注於可靠性、安全性和發佈的實踐練習。
課程定製選項
- 如需爲此課程定製培訓,請聯繫我們進行安排。
Antigravity for Developers: Building Agent-First Applications
21 小時Antigravity是一個開發平台,用於構建AI驅動的Agent優先應用。
這門由講師帶領的即時培訓(線上或線下),針對中級開發者。學員將學習在Antigravity環境中,利用自主AI代理構建實際應用。
完成培訓後,學員將具備以下能力:
- 開發依賴自主及協同AI代理的應用。
- 使用Antigravity IDE、編輯器、終端機和瀏覽器進行端到端開發。
- 使用Agent Manager管理多代理工作流。
- 將代理能力整合至生產級軟件系統。
課程形式
- 結合演示的混合式講授。
- 大量實操練習及引導式練習。
- 在Antigravity即時環境中進行實際實現。
課程自定義選項
- 如需符合您開發堆棧的定制內容,請聯繫我們安排定制化培訓。
Antigravity入门:代理优先IDE简介
14 小時Google Antigravity是一个代理优先的开发环境,旨在通过智能自动化简化工程工作流程。
本次讲师指导的培训(线上或线下)面向希望探索Antigravity基础知识的初级从业者,帮助他们理解代理驱动的编码环境如何提升生产力。
完成本次培训后,学员将能够:
- 安装并配置Google Antigravity。
- 浏览并理解编辑器视图和管理器视图。
- 有效地使用代理来自动化简单的开发任务。
- 使用Antigravity生成、优化和管理项目文件。
课程形式
- 讲师讲解,并结合实时演示。
- 以动手使用代理为重点的指导练习。
- 在受控的实验环境中,实际探索Antigravity的核心功能。
课程定制选项
- 如需定制版培训,请联系我们安排个性化课程。
Antigravity用于Web自动化与基于浏览器的任务
21 小時Google Antigravity是一个平台,用于构建能够与Web应用、浏览器环境以及多界面工作流进行交互的代理。
本次由讲师指导的线下或线上培训,面向希望使用Google Antigravity构建、自动化并测试基于浏览器的工作流的中级专业人士。
完成培训后,参与者将能够:
- 创建在浏览器界面中与Web应用交互的代理。
- 跨浏览器上下文自动化端到端工作流。
- 在UI驱动的环境中验证并排查代理行为。
- 使用Antigravity实施跨界面自动化策略。
课程形式
- 配合演示的引导式教学。
- 实践性动手活动与基于场景的练习。
- 在交互式实验环境中实施代理工作流。
课程定制选项
- 如需定制化培训,请联系我们,根据您的目标调整课程内容。
運用 AgentCore 建構全託管 AI 代理:從概念到生產
14 小時AgentCore 透過提供一整套為大規模部署而設計的服务,簡化了建構、增強及監控全託管 AI 代理的過程。
此課程為授課式線上或線下培訓,適合初級至中級實務人員,旨在透過實操掌握使用 AgentCore 建立生產就緒 AI 代理的經驗。
完成本課程後,學員將能夠:
- 了解 AgentCore 在 AI 代理開發中的核心能力。
- 使用託管服務設計並配置簡單的 AI 代理。
- 整合工作流程以提升代理功能。
- 將 AI 代理部署至生產環境並進行監控。
課程形式
- 互動式講授與討論。
- AgentCore 服務實操實驗。
- 從代理概念到部署的引導式練習。
課程客製化選項
- 若需為本課程申請客製化培訓,請聯繫我們進行安排。
使用 Mastra 開發 AI 智能體
14 小時本課程為講師授課的直播培訓(線上或線下),旨在幫助中等水平的軟件開發人員和工程團隊,利用 Mastra 構建可擴展、可觀察的 AI 系統。
完成本培訓後,參與者將能夠:
- 理解 Mastra 的架構,及其與 LLM 和外部 API 的集成方式。
- 使用 TypeScript 設計並實現 AI 智能體和工作流程。
- 運用 Mastra 的可觀察性和記憶工具,監控並優化智能體的性能。
- 利用 Mastra 框架特性,部署生產就緒的 AI 應用。
Mastra AI代理除錯、評估與品質保證
21 小時Mastra運維與生產工程:部署與擴展AI代理
21 小時Mastra工作流自動化與多代理編排
21 小時Mastra是一個框架,能夠在分佈式系統中實現複雜的工作流自動化和多個AI代理的協調。
本課程爲講師主導的培訓(線上或線下),面向中級從業者,旨在幫助他們設計、編排和操作大規模的多代理工作流。
通過完成本培訓,學員將掌握以下技能:
- 使用Mastra的編排功能設計複雜的工作流。
- 協調多個代理執行並行或依賴任務。
- 實施工作流執行的監控和調試工具。
- 優化編排邏輯,提高可靠性、吞吐量和自動化效率。
課程形式
- 互動講座與討論。
- 動手實踐工作流設計與自動化練習。
- 在容器化的實驗環境中進行實際實施。
課程定製選項
- 可根據需求提供定製的自動化場景、企業集成或工作流模式。
在Google Antigravity中管理智能体工作流程:編排、規劃與產出物
14 小時測試與驗證代理驅動代碼:Antigravity 中的品質保證
14 小時Antigravity 是一個代表高級代理驅動開發工作流程的框架。
此課程為線上或線下授課的實時培訓,旨在幫助中高級專業人員驗證、校驗並保障在 Antigravity 驅動環境中由 AI 代理產生的輸出結果。
完成此培訓後,學員將能夠:
- 評估代理生成代碼產物的準確性與安全性。
- 使用結構化技術來驗證代理執行的任務。
- 有效分析瀏覽器錄像並追蹤代理活動。
- 應用品質保證與安全原則,確保代理工作流程的可靠性。
課程形式
- 講師引導的技術簡報與討論。
- 專注於驗證真實代理工作流程的實踐演練。
- 在受控實驗室環境中進行實測與驗證。
課程客製化選項
- 可按需調整場景、工作流程及測試示例。