Optimizing Neural Network Performance with CANN SDK

• 深入了解深度学习模型架构和训练工作流程
• 具备使用CANN、TensorFlow或PyTorch进行模型部署的经验
• 熟悉Linux CLI、shell脚本和Python编程

目标受众

• AI性能工程师
• 推理优化专家
• 从事边缘AI或实时系统开发的开发者

CANN SDK（Neural Networks 的計算架構）是華為的 AI 計算基礎，允許開發者在 Ascend AI 處理器上微調和優化已部署的神經網絡性能。

這是一個由講師主導的培訓（線上或線下），旨在針對高級 AI 開發者和系統工程師，他們希望使用 CANN 的先進工具集（包括 Graph Engine、TIK 和自定義算子開發）來優化推理性能。

培訓結束時，參與者將能夠：

• 了解 CANN 的運行時架構和性能生命周期。
• 使用性能分析工具和 Graph Engine 進行性能分析和優化。
• 使用 TIK 和 TVM 創建和優化自定義算子。
• 解決內存瓶頸並提高模型吞吐量。

課程形式

• 互動式講座和討論。
• 實時性能分析和算子調優的實踐實驗室。
• 使用邊緣案例部署示例的優化練習。

課程定制選項

• 如需為此課程請求定制培訓，請聯繫我們進行安排。

CANN 优化能力概述

• CANN 如何处理推理性能
• 边缘和嵌入式 AI 系统的优化目标
• 了解 AI 核心利用率和内存分配

使用图引擎进行分析

• 图引擎和执行管道的介绍
• 可视化操作图与运行时指标
• 修改计算图以进行优化

分析工具与性能指标

• 使用 CANN 分析工具（profiler）进行工作负载分析
• 分析内核执行时间和瓶颈
• 内存访问分析与分块策略

使用 TIK 开发自定义操作符

• TIK 与操作符编程模型概述
• 使用 TIK DSL 实现自定义操作符
• 测试与基准测试操作符性能

使用 TVM 进行高级操作符优化

• TVM 与 CANN 的集成介绍
• 计算图的自动调优策略
• 何时以及如何在 TVM 和 TIK 之间切换

内存优化技术

• 管理内存布局与缓冲区放置
• 减少片上内存消耗的技术
• 异步执行与重用的最佳实践

实际部署与案例研究

• 案例研究：智能城市摄像头管道的性能调优
• 案例研究：优化自动驾驶车辆的推理堆栈
• 迭代分析与持续改进的指南

总结与下一步