CANN for Edge AI Deployment

• 具備AI模型開發或部署工作流程的經驗
• 具備嵌入式系統、Linux和Python的基本知識
• 熟悉深度學習框架，如TensorFlow或PyTorch

目標學員

• IoT解決方案開發者
• 嵌入式AI工程師
• 邊緣系統整合師和AI部署專家

華為的Ascend CANN工具包能夠在邊緣設備（如Ascend 310）上實現強大的AI推理。CANN提供了在計算和內存受限的環境中編譯、優化和部署模型的必要工具。

這項由講師指導的培訓（線上或線下）針對希望使用CANN工具鏈在Ascend邊緣設備上部署和優化模型的中級AI開發者和集成商。

在培訓結束時，參與者將能夠：

• 使用CANN工具為Ascend 310準備和轉換AI模型。
• 使用MindSpore Lite和AscendCL構建輕量級推理管道。
• 在計算和內存有限的環境中優化模型性能。
• 在實際邊緣用例中部署和監控AI應用程序。

課程形式

• 互動式講座和演示。
• 針對邊緣特定模型和場景的動手實驗。
• 在虛擬或物理邊緣硬件上的即時部署示例。

課程定制選項

• 如需為本課程定制培訓，請聯繫我們進行安排。

Edge AI 與 Ascend 310 簡介

• Edge AI 概覽：趨勢、限制與應用
• Huawei Ascend 310 晶片架構與支援的工具鏈
• 在邊緣 AI 部署堆疊中定位 CANN

模型準備與轉換

• 從 TensorFlow、PyTorch 和 MindSpore 匯出訓練好的模型
• 使用 ATC 將模型轉換為 Ascend 裝置的 OM 格式
• 處理不支援的操作與輕量級轉換策略

使用 AscendCL 開發推理管道

• 使用 AscendCL API 在 Ascend 310 上運行 OM 模型
• 輸入/輸出預處理、記憶體處理與裝置控制
• 在嵌入式容器或輕量級運行環境中部署

針對邊緣限制的優化

• 縮減模型大小，精度調校（FP16, INT8）
• 使用 CANN 分析工具識別瓶頸
• 管理記憶體布局與數據流以提升性能

使用 MindSpore Lite 部署

• 使用 MindSpore Lite 運行時針對移動與嵌入式目標
• 比較 MindSpore Lite 與原生 AscendCL 管道
• 打包推理模型以進行裝置特定部署

邊緣部署場景與案例研究

• 案例研究：在 Ascend 310 上使用物件檢測模型的智能相機
• 案例研究：IoT 感測器中心的即時分類
• 監控與更新邊緣部署的模型

總結與下一步