Cambricon MLU Development with BANGPy and Neuware

• 了解機器學習模型結構
• 具備Python和/或C++的經驗
• 熟悉模型部署與加速概念

目標受眾

• 嵌入式AI開發者
• 部署至邊緣或數據中心的ML工程師
• 使用中國AI基礎設施的開發者

Cambricon MLUs (Machine Learning 单元) 是专为边缘和数据中心场景中的推理和训练优化的AI芯片。

本次由讲师指导的培训（线上或线下）面向中级开发者，旨在帮助他们使用BANGPy框架和Neuware SDK在Cambricon MLU硬件上构建和部署AI模型。

通过本次培训，参与者将能够：

• 设置和配置BANGPy和Neuware开发环境。
• 开发和优化基于Python和C++的模型，适用于Cambricon MLUs。
• 将模型部署到运行Neuware运行时的边缘和数据中心设备。
• 将ML工作流与MLU特定的加速功能集成。

课程形式

• 互动式讲座和讨论。
• 动手实践，使用BANGPy和Neuware进行开发和部署。
• 指导练习，专注于优化、集成和测试。

课程定制选项

• 如需根据您的Cambricon设备型号或使用场景定制本次培训，请联系我们安排。

Cambricon與MLU架構介紹

• Cambricon AI晶片產品概覽
• MLU架構與指令流水線
• 支援的模型類型與應用場景

安裝開發工具鏈

• 安裝BANGPy與Neuware SDK
• Python與C++的環境設置
• 模型兼容性與預處理

使用BANGPy進行模型開發

• 張量結構與形狀管理
• 計算圖構建
• BANGPy中的自定義操作支援

使用Neuware Runtime進行部署

• 模型轉換與加載
• 執行與推理控制
• 邊緣與數據中心部署實踐

性能優化

• 內存映射與層調優
• 執行追蹤與性能分析
• 常見瓶頸與解決方案

將MLU整合至應用中

• 使用Neuware APIs進行應用整合
• 串流與多模型支援
• 混合CPU-MLU推理場景

端到端項目與Use Case

• 實驗室：部署視覺或NLP模型
• 使用BANGPy整合進行邊緣推理
• 測試準確性與吞吐量

總結與下一步