Cambricon MLU Development with BANGPy and Neuware

• 了解机器学习模型结构
• 具备Python和/或C++的经验
• 熟悉模型部署与加速概念

目标受众

• 嵌入式AI开发者
• 部署至边缘或数据中心的ML工程师
• 使用中国AI基础设施的开发者

Cambricon MLUs（Machine Learning单元）是专为边缘和数据中心场景中的推理和训练优化的AI芯片。

本次由讲师指导的培训（线上或线下）面向中级开发者，旨在帮助他们使用BANGPy框架和Neuware SDK在Cambricon MLU硬件上构建和部署AI模型。

通过本次培训，参与者将能够：

• 设置和配置BANGPy与Neuware开发环境。
• 为Cambricon MLUs开发和优化基于Python和C++的模型。
• 将模型部署到运行Neuware运行时的边缘和数据中心设备。
• 将机器学习工作流与MLU特定的加速功能集成。

课程形式

• 互动式讲座和讨论。
• 动手实践BANGPy和Neuware进行开发和部署。
• 专注于优化、集成和测试的指导练习。

课程定制选项

• 如需根据您的Cambricon设备型号或使用场景定制本课程，请联系我们安排。

Cambricon与MLU架构简介

• Cambricon AI芯片产品概述
• MLU架构与指令流水线
• 支持的模型类型与用例

安装开发工具链

• 安装BANGPy与Neuware SDK
• Python和C++的环境配置
• 模型兼容性与预处理

使用BANGPy进行模型开发

• 张量结构与形状管理
• 计算图构建
• BANGPy中的自定义操作支持

使用Neuware Runtime部署

• 模型转换与加载
• 执行与推理控制
• 边缘与数据中心部署实践

性能优化

• 内存映射与层调优
• 执行跟踪与性能分析
• 常见瓶颈与解决方案

将MLU集成到应用中

• 使用Neuware API进行应用集成
• 流式与多模型支持
• CPU-MLU混合推理场景

端到端项目与Use Case

• 实验：部署视觉或NLP模型
• 使用BANGPy集成进行边缘推理
• 测试准确性与吞吐量

总结与下一步