Performance Optimization on Ascend, Biren, and Cambricon

• 具备AI模型训练或部署流水线的工作经验
• 理解GPU/MLU计算原理和模型优化
• 对性能分析工具和指标有基本了解

受众

• 性能工程师
• 机器学习基础设施团队
• AI系统架构师

Ascend、Biren 和 Cambricon 是中国领先的 AI 硬体平台，各自提供独特的加速和性能分析工具，用于生产规模的 AI 工作负载。

这项由讲师指导的培训（线上或线下）针对高级 AI 基础设施和性能工程师，旨在优化跨多个中国 AI 晶片平台的模型推理和训练工作流程。

在培训结束时，参与者将能够：

• 在 Ascend、Biren 和 Cambricon 平台上进行模型基准测试。
• 识别系统瓶颈和记忆体/计算效率低下的问题。
• 应用图层级、核心层级和操作层级的优化。
• 调整部署管道以提高吞吐量和减少延迟。

课程形式

• 互动式讲座和讨论。
• 在每个平台上实际使用性能分析和优化工具。
• 专注于实际调整情境的指导练习。

课程定制选项

• 如需根据您的性能环境或模型类型定制此课程，请联系我们安排。

性能概念与指标

• 延迟、吞吐量、功耗、资源利用率
• 系统与模型层级的瓶颈
• 推理与训练的性能分析

在Huawei Ascend上的性能分析

• 使用CANN Profiler和MindInsight
• 内核与运算元诊断
• 卸载模式与内存映射

在Biren GPU上的性能分析

• Biren SDK的性能监控功能
• 内核融合、内存对齐与执行队列
• 功耗与温度感知的性能分析

在Cambricon MLU上的性能分析

• BANGPy与Neuware性能工具
• 内核级别的可视化与日志解读
• MLU性能分析工具与部署框架的集成

图与模型层级优化

• 图剪枝与量化策略
• 运算元融合与计算图重构
• 输入尺寸标准化与批次调优

内存与内核优化

• 优化内存布局与重用
• 跨芯片组的高效缓存管理
• 基于平台的内核级调优技术

跨平台最佳实践

• 性能可移植性：抽象策略
• 为多芯片环境构建共享调优管道
• 示例：在Ascend、Biren与MLU上调优物件检测模型

总结与下一步