課程簡介

CANN 优化能力概述

  • CANN 如何处理推理性能
  • 边缘和嵌入式 AI 系统的优化目标
  • 了解 AI 核心利用率和内存分配

使用图引擎进行分析

  • 图引擎和执行管道的介绍
  • 可视化操作图与运行时指标
  • 修改计算图以进行优化

分析工具与性能指标

  • 使用 CANN 分析工具(profiler)进行工作负载分析
  • 分析内核执行时间和瓶颈
  • 内存访问分析与分块策略

使用 TIK 开发自定义操作符

  • TIK 与操作符编程模型概述
  • 使用 TIK DSL 实现自定义操作符
  • 测试与基准测试操作符性能

使用 TVM 进行高级操作符优化

  • TVM 与 CANN 的集成介绍
  • 计算图的自动调优策略
  • 何时以及如何在 TVM 和 TIK 之间切换

内存优化技术

  • 管理内存布局与缓冲区放置
  • 减少片上内存消耗的技术
  • 异步执行与重用的最佳实践

实际部署与案例研究

  • 案例研究:智能城市摄像头管道的性能调优
  • 案例研究:优化自动驾驶车辆的推理堆栈
  • 迭代分析与持续改进的指南

总结与下一步

最低要求

  • 深入了解深度学习模型架构和训练工作流程
  • 具备使用CANN、TensorFlow或PyTorch进行模型部署的经验
  • 熟悉Linux CLI、shell脚本和Python编程

目标受众

  • AI性能工程师
  • 推理优化专家
  • 从事边缘AI或实时系统开发的开发者
 14 時間:

人數


每位參與者的報價

Upcoming Courses

課程分類