Performance Optimization on Ascend, Biren, and Cambricon

• 具備AI模型訓練或部署管道的相關經驗
• 了解GPU/MLU計算原理及模型優化
• 對性能分析工具和指標有基本熟悉度

目標受眾

• 性能工程師
• 機器學習基礎設施團隊
• AI系統架構師

Ascend、Biren 和 Cambricon 是中國領先的 AI 硬體平台，各自提供獨特的加速和性能分析工具，用於生產規模的 AI 工作負載。

這項由講師指導的培訓（線上或線下）針對高級 AI 基礎設施和性能工程師，旨在優化跨多個中國 AI 晶片平台的模型推理和訓練工作流程。

在培訓結束時，參與者將能夠：

• 在 Ascend、Biren 和 Cambricon 平台上進行模型基準測試。
• 識別系統瓶頸和記憶體/計算效率低下的問題。
• 應用圖層級、核心層級和操作層級的優化。
• 調整部署管道以提高吞吐量和減少延遲。

課程形式

• 互動式講座和討論。
• 在每個平台上實際使用性能分析和優化工具。
• 專注於實際調整情境的指導練習。

課程定制選項

• 如需根據您的性能環境或模型類型定制此課程，請聯繫我們安排。

性能概念與指標

• 延遲、吞吐量、功耗、資源利用率
• 系統與模型層級的瓶頸
• 推理與訓練的性能分析

在Huawei Ascend上的性能分析

• 使用CANN Profiler和MindInsight
• 內核與運算元診斷
• 卸載模式與內存映射

在Biren GPU上的性能分析

• Biren SDK的性能監控功能
• 內核融合、內存對齊與執行隊列
• 功耗與溫度感知的性能分析

在Cambricon MLU上的性能分析

• BANGPy與Neuware性能工具
• 內核級別的可視化與日誌解讀
• MLU性能分析工具與部署框架的集成

圖與模型層級優化

• 圖剪枝與量化策略
• 運算元融合與計算圖重構
• 輸入尺寸標準化與批次調優

內存與內核優化

• 優化內存布局與重用
• 跨芯片組的高效緩存管理
• 基於平台的內核級調優技術

跨平台最佳實踐

• 性能可移植性：抽象策略
• 為多芯片環境構建共享調優管道
• 示例：在Ascend、Biren與MLU上調優物件檢測模型

總結與下一步