Optimizing Neural Network Performance with CANN SDK

• 深入了解深度学习模型架构和训练工作流程
• 具备使用CANN、TensorFlow或PyTorch进行模型部署的经验
• 熟悉Linux CLI、shell脚本和Python编程

目标受众

• AI性能工程师
• 推理优化专家
• 从事边缘AI或实时系统开发的开发者

CANN SDK（Neural Networks 的计算架构）是华为的 AI 计算基础，允许开发者在 Ascend AI 处理器上微调和优化已部署的神经网络性能。

这是一个由讲师主导的培训（线上或线下），旨在针对高级 AI 开发者和系统工程师，他们希望使用 CANN 的先进工具集（包括 Graph Engine、TIK 和自定义算子开发）来优化推理性能。

培训结束时，参与者将能够：

• 了解 CANN 的运行时架构和性能生命周期。
• 使用性能分析工具和 Graph Engine 进行性能分析和优化。
• 使用 TIK 和 TVM 创建和优化自定义算子。
• 解决内存瓶颈并提高模型吞吐量。

课程形式

• 互动式讲座和讨论。
• 实时性能分析和算子调优的实践实验室。
• 使用边缘案例部署示例的优化练习。

课程定制选项

• 如需为此课程请求定制培训，请联系我们进行安排。

CANN 优化能力概述

• CANN 如何处理推理性能
• 边缘和嵌入式 AI 系统的优化目标
• 了解 AI 核心利用率和内存分配

使用图引擎进行分析

• 图引擎和执行管道的介绍
• 可视化操作图与运行时指标
• 修改计算图以进行优化

分析工具与性能指标

• 使用 CANN 分析工具（profiler）进行工作负载分析
• 分析内核执行时间和瓶颈
• 内存访问分析与分块策略

使用 TIK 开发自定义操作符

• TIK 与操作符编程模型概述
• 使用 TIK DSL 实现自定义操作符
• 测试与基准测试操作符性能

使用 TVM 进行高级操作符优化

• TVM 与 CANN 的集成介绍
• 计算图的自动调优策略
• 何时以及如何在 TVM 和 TIK 之间切换

内存优化技术

• 管理内存布局与缓冲区放置
• 减少片上内存消耗的技术
• 异步执行与重用的最佳实践

实际部署与案例研究

• 案例研究：智能城市摄像头管道的性能调优
• 案例研究：优化自动驾驶车辆的推理堆栈
• 迭代分析与持续改进的指南

总结与下一步