Building Custom AI Operators with CANN TIK and TVM

• 深入了解AI模型的内部结构及算子级计算
• 具备Python和Linux开发环境的经验
• 熟悉神经网络编译器或图级优化器

目标受众

• 从事AI工具链开发的编译器工程师
• 专注于底层AI优化的系统开发人员
• 开发自定义算子或针对新型AI工作负载的开发者

CANN TIK (Tensor Instruction Kernel) 和 Apache TVM 能够为 Huawei Ascend 硬件实现 AI 模型算子的高级优化和定制。

这门由讲师指导的培训（线上或线下）面向希望使用 CANN 的 TIK 编程模型和 TVM 编译器集成来构建、部署和调优 AI 模型自定义算子的高级系统开发者。

培训结束后，参与者将能够：

• 使用 TIK DSL 为 Ascend 处理器编写和测试自定义 AI 算子。
• 将自定义算子集成到 CANN 运行时和执行图中。
• 使用 TVM 进行算子调度、自动调优和基准测试。
• 调试和优化自定义计算模式的指令级性能。

课程形式

• 互动讲座和演示。
• 使用 TIK 和 TVM 管道进行算子编码实践。
• 在 Ascend 硬件或模拟器上进行测试和调优。

课程定制选项

• 如需为此课程定制培训，请联系我们安排。

自定义运算元开发简介

• 为何要建立自定义运算元？使用案例与限制
• CANN 运行时结构与运算元整合点
• 华为 AI 生态中的 TBE、TIK 和 TVM 概述

使用 TIK 进行低阶运算元 Programming

• 理解 TIK 编程模型与支援的 API
• TIK 中的记忆体管理与分块策略
• 使用 CANN 创建、编译与注册自定义运算元

测试与验证自定义运算元

• 图中运算元的单元测试与整合测试
• 调试核心级性能问题
• 可视化运算元执行与缓冲区行为

基于 TVM 的排程与优化

• TVM 作为张量运算元编译器的概述
• 在 TVM 中为自定义运算元编写排程
• TVM 调优、基准测试与 Ascend 的代码生成

与框架和模型的整合

• 为 MindSpore 和 ONNX 注册自定义运算元
• 验证模型完整性与回退行为
• 支援混合精度的多运算元图

案例研究与专项优化

• 案例研究：针对小输入形状的高效卷积
• 案例研究：记忆体感知的注意力运算元优化
• 跨设备自定义运算元部署的最佳实践

总结与下一步