課程簡介

自定義算子開發簡介

  • 爲什麼要構建自定義算子?用例與限制
  • CANN 運行時結構與算子集成點
  • TBE、TIK 和 TVM 在華爲 AI 生態系統中的概述

使用 TIK 進行低層算子開發 Programming

  • 理解 TIK 編程模型及支持的 API
  • TIK 中的內存管理與分片策略
  • 使用 CANN 創建、編譯並註冊自定義算子

測試與驗證自定義算子

  • 在圖中進行算子的單元測試與集成測試
  • 調試內核級性能問題
  • 可視化算子執行與緩衝區行爲

基於 TVM 的調度與優化

  • TVM 作爲張量算子編譯器的概述
  • 在 TVM 中爲自定義算子編寫調度
  • TVM 的調優、基準測試及 Ascend 代碼生成

與框架和模型的集成

  • 爲 MindSpore 和 ONNX 註冊自定義算子
  • 驗證模型完整性與回退行爲
  • 支持混合精度的多算子圖

案例研究與專項優化

  • 案例研究:針對小輸入形狀的高效卷積
  • 案例研究:內存感知的注意力算子優化
  • 跨設備部署自定義算子的最佳實踐

總結與下一步

最低要求

  • 深入瞭解AI模型內部結構和算子級計算
  • 具備Python和Linux開發環境的經驗
  • 熟悉神經網絡編譯器或圖級優化器

受衆

  • 從事AI工具鏈的編譯器工程師
  • 專注於底層AI優化的系統開發者
  • 構建自定義算子或針對新型AI工作負載的開發者
 14 時間:

人數


每位參與者的報價

Upcoming Courses

課程分類