Building Custom AI Operators with CANN TIK and TVM

• 深入了解AI模型的内部结构及算子级计算
• 具备Python和Linux开发环境的经验
• 熟悉神经网络编译器或图级优化器

目标受众

• 从事AI工具链开发的编译器工程师
• 专注于底层AI优化的系统开发人员
• 开发自定义算子或针对新型AI工作负载的开发者

CANN TIK (Tensor Instruction Kernel) 和 Apache TVM 能够为 Huawei Ascend 硬件实现 AI 模型算子的高级优化和定制。

这门由讲师指导的培训（线上或线下）面向希望使用 CANN 的 TIK 编程模型和 TVM 编译器集成来构建、部署和调优 AI 模型自定义算子的高级系统开发者。

培训结束后，参与者将能够：

• 使用 TIK DSL 为 Ascend 处理器编写和测试自定义 AI 算子。
• 将自定义算子集成到 CANN 运行时和执行图中。
• 使用 TVM 进行算子调度、自动调优和基准测试。
• 调试和优化自定义计算模式的指令级性能。

课程形式

• 互动讲座和演示。
• 使用 TIK 和 TVM 管道进行算子编码实践。
• 在 Ascend 硬件或模拟器上进行测试和调优。

课程定制选项

• 如需为此课程定制培训，请联系我们安排。

自定義運算元開發簡介

• 為何要建立自定義運算元？使用案例與限制
• CANN 運行時結構與運算元整合點
• 華為 AI 生態中的 TBE、TIK 和 TVM 概述

使用 TIK 進行低階運算元 Programming

• 理解 TIK 編程模型與支援的 API
• TIK 中的記憶體管理與分塊策略
• 使用 CANN 創建、編譯與註冊自定義運算元

測試與驗證自定義運算元

• 圖中運算元的單元測試與整合測試
• 調試核心級性能問題
• 可視化運算元執行與緩衝區行為

基於 TVM 的排程與優化

• TVM 作為張量運算元編譯器的概述
• 在 TVM 中為自定義運算元編寫排程
• TVM 調優、基準測試與 Ascend 的代碼生成

與框架和模型的整合

• 為 MindSpore 和 ONNX 註冊自定義運算元
• 驗證模型完整性與回退行為
• 支援混合精度的多運算元圖

案例研究與專項優化

• 案例研究：針對小輸入形狀的高效卷積
• 案例研究：記憶體感知的注意力運算元優化
• 跨設備自定義運算元部署的最佳實踐

總結與下一步