在生產環境中部署騰訊混元：低延遲推理與成本優化培訓
在生產環境中部署騰訊混元：低延遲推理與成本優化是一堂實用的課程，旨在大規模可靠地服務騰訊混元模型。
本講師主導的現場培訓（線上或線下）面向希望使用騰訊混元部署大型和MoE模型，以降低延遲、提高GPU利用率並控制運營成本的中級工程師和架構師。
完成本課程後，學員將能夠：
- 解釋服務騰訊混元模型面臨的主要生產挑戰。
- 應用實用的推理優化技術，如TensorRT、KV緩存調優、量化和批處理。
- 設計具有自動擴縮容、監控和容量規劃的可擴展部署方案。
- 改進實際生產工作負載的延遲與成本權衡。
課程形式
- 互動式講座與討論。
- 大量的練習與實踐環節。
- 在即時實驗室環境中進行動手實現。
課程定製選項
- 如需爲本課程請求定製化培訓，請聯繫我們安排。
感謝您提交詢問！我們的一位團隊成員將在短時間內與您聯繫。
感謝您提交預訂！我們的一位團隊成員將在短時間內與您聯繫。
課程時長 14 時間：
課程簡介
騰訊混元生產基礎
- 騰訊混元模型服務場景概覽
- 大型和MoE模型的生產特性
- 常見的延遲、吞吐量及成本瓶頸
- 爲推理工作流定義服務級別目標
部署架構與服務流程
- 生產推理堆棧的核心組件
- 在容器化、本地和雲部署模式之間做出選擇
- 模型加載、請求路由及GPU分配基礎
- 設計可靠性與運維簡便性
延遲優化實踐
- 在適用場景中使用優化的推理引擎，如TensorRT
- KV緩存概念及實際的緩存調優
- 減少啓動、預熱和響應開銷
- 測量首字延遲和令牌生成速度
吞吐量、批處理與GPU效率
- 連續批處理與請求批處理策略
- 管理併發與隊列行爲
- 提升GPU利用率而不損害用戶體驗
- 處理長上下文和混合工作負載請求
量化與成本控制
- 爲何量化對生產服務至關重要
- FP16、INT8及其他常見精度選項的實用權衡
- 平衡模型質量、延遲與基礎設施成本
- 制定簡易的成本優化清單
運維、監控與就緒審查
- 推理服務的自動擴縮容觸發機制
- 監控延遲、吞吐量、緩存使用及GPU健康狀況
- 日誌記錄、警報與事件響應基礎
- 審查參考部署方案並制定改進計劃
最低要求
- 對大型語言模型部署和推理工作流有基本瞭解
- 具備容器、雲或本地基礎設施以及基於API的服務使用經驗
- 掌握Python或系統工程任務的工作知識
受衆
- 將LLM部署到生產環境的ML工程師
- 負責基於GPU的推理服務的平臺工程師
- 設計可擴展AI服務平臺的解決方案架構師
公開培訓課程需要5名以上參與者。
在生產環境中部署騰訊混元：低延遲推理與成本優化培訓 - 訂單
在生產環境中部署騰訊混元：低延遲推理與成本優化培訓 - 詢問
在生產環境中部署騰訊混元：低延遲推理與成本優化 - 咨詢詢問
即將到來的課程
相關課程
進階LangGraph：最佳化、除錯與監控複雜圖形
35 小時
這場在香港的線下培訓，針對進階AI平台工程師、AI的DevOps及ML架構師，旨在最佳化、除錯、監控並營運生產級的LangGraph系統，用於具狀態、多代理的LLM應用程式，以可組合的圖形呈現。
更多...
使用Devstral構建編碼代理：從代理設計到工具整合
14 小時
在香港舉辦的此現場培訓中掌握Devstral。課程涵蓋架構、代理工作流程設計和工具整合。適合高階工程師，課程使用實作實驗室來構建編碼代理，以提升現代開發環境中的生產力和安全性。
更多...
开源模型运维：使用 Devstral 与 Mistral 模型进行自托管、微调与治理
14 小時
本次由讲师指导的培训在香港中开展，面向希望掌握 Devstral 和 Mistral 模型自托管与微调技能的 ML 工程师。参与者将学习实用的治理、监控与合规技术，从而自信地在生产环境中部署开源 AI。
更多...
LangGraph在金融领域的应用
35 小時
本次由讲师指导的香港培训,帮助专业人士设计基于LangGraph的金融解决方案。参与者将学习实施符合监管要求的工作流、集成数据标准,并部署具备强大治理、可观测性与合规控制能力的系统。
更多...
LangGraph基础：基于图的LLM提示与链式调用
14 小時
本讲师引导的LangGraph基础课程在香港举办，帮助开发者构建基于图的LLM应用。学习节点、边、状态管理和分支逻辑等核心概念。集成工具、检索和外部API，然后通过动手实验测试并部署可靠的工作流。
更多...
LangGraph在医疗保健中的应用：受监管环境下的工作流编排
35 小時
通过本次在香港举办的培训，探索LangGraph在医疗保健领域的应用，适合中级至高级专业人士。学习设计有状态、合规的工作流，集成FHIR和SNOMED CT等标准，并应对受监管环境中的伦理与运营挑战。
更多...
適用於法律應用的 LangGraph
35 小時
透過在 香港 舉辦的 35 小時講師主導培訓，掌握適用於法律應用的 LangGraph。本課程適合中高階專業人士，內容涵蓋工作流程設計、合規控制與人機協作審批，協助您自信地建構可稽核且適用於正式環境的 LLM 解決方案。
更多...
使用LangGraph与LLM智能体构建动态工作流
14 小時
本次线上或线下课程在香港中指导中级工程师使用LangGraph构建动态LLM工作流。学习设计有状态图、实现分支逻辑，并集成检索、API和记忆，以构建稳健、具有上下文感知能力的应用。
更多...
LangGraph 行銷自動化
14 小時
這個由講師指導的培訓以香港介紹 LangGraph 行銷自動化。參與者將學習設計條件式內容工作流程、整合 LLM 以實現個人化電子郵件行銷活動，以及管理多步驟管道中的狀態，獲得現代行銷的實用技能。
更多...
Le Chat Enterprise：私有ChatOps、整合與管理控制
14 小時
此香港培訓涵蓋Le Chat Enterprise，這是一個私有ChatOps解決方案，用於安全且受治理的對話式AI。學習者將部署、設定並將其與企業應用程式整合，啟用RBAC、SSO及合規驅動的控制，以實現可擴展且安全的AI工作流程。
更多...
高成本效益的LLM架構：Mistral大規模部署（效能／成本工程）
14 小時
掌握具成本效益的Mistral LLM架構，參加此14小時的香港培訓。學習部署、優化及擴展Mistral Medium 3，以實現最大吞吐量與最低成本，運用批次處理、量化及高效服務策略應對企業工作負載。
更多...
利用Mistral连接器和集成实现对话助手的商业化
14 小時
本培训在香港进行，涵盖将Mistral对话助手集成到企业工作流程中。参与者将学习连接SaaS工具、实施检索增强生成，并为面向客户和内部的聊天界面设计有效的用户体验模式。
更多...
使用 Mistral Medium 3 的企业级部署
14 小時
本讲师指导的香港培训，帮助高级 AI 工程师部署并保护 Mistral Medium 3。您将优化推理成本、实现多模态用例，并应用企业合规实践。培训包含 API 和自托管设置的动手实验。
更多...
Mistral 负责任 AI：隐私、数据驻留与企业控制
14 小時
本次 Mistral 负责任 AI 培训在香港举办，专为合规与安全负责人设计。您将掌握隐私保护技术、数据驻留策略，以及 RBAC 和 SSO 等企业控制，确保实现安全、合规的 AI 部署。
更多...
使用Mistral模型的多模态应用（视觉、OCR与文档理解）
14 小時
学习使用Mistral模型构建多模态应用，重点关注OCR、文档理解和视觉-文本搜索。本次动手培训涵盖流程实施、NLP集成和企业级设计，以线上或香港方式授课。
更多...
