DeepSpeed for Deep Learning ( deepspeed | 21 hours )

• 深度學習原理的中級知識
• 使用 PyTorch 或類似深度學習框架的經驗
• 熟悉 Python 程式設計

觀眾

• 數據科學家
• 機器學習工程師
• 開發人員

DeepSpeed 是一個深度學習優化庫，可以更輕鬆地在分散式硬體上擴展深度學習模型。DeepSpeed 由 Microsoft 開發，與 PyTorch 集成，以提供更好的擴展、更快的訓練和更高的資源利用率。 

這種由講師指導的實時培訓（在線或現場）面向希望提高深度學習模型性能的初級到中級數據科學家和機器學習工程師。

在本次培訓結束時，參與者將能夠：

• 了解分散式深度學習的原理。
• 安裝和配置 DeepSpeed。
• 使用 DeepSpeed 在分散式硬體上擴展深度學習模型。
• 實施和試驗 DeepSpeed 功能以實現優化和記憶體效率。

課程形式

• 互動講座和討論。
• 大量的練習和練習。
• 在即時實驗室環境中動手實施。

課程自定義選項

• 要申請本課程的定製培訓，請聯繫我們進行安排。

介紹

• 深度學習擴展挑戰概述
• DeepSpeed 及其功能概述
• DeepSpeed 與其他分散式深度學習庫的比較

開始

• 設置開發環境
• 安裝 PyTorch 和 DeepSpeed
• 配置 DeepSpeed 進行分散式訓練

DeepSpeed 優化功能

• DeepSpeed 訓練管道
• ZeRO （記憶體優化）
• 激活檢查點
• 梯度檢查點
• 管道並行

使用 DeepSpeed 擴展模型

• 使用 DeepSpeed 進行基本擴展
• 高級縮放技術
• 性能注意事項和最佳實踐
• 調試和故障排除技術

高級 DeepSpeed 主題

• 高級優化技術
• 將 DeepSpeed 與混合精度訓練結合使用
• 不同硬體上的 DeepSpeed（例如 GPU、TPU）
• 具有多個訓練節點的 DeepSpeed

將 DeepSpeed 與 Py 集成Torch

• 將 DeepSpeed 與 PyTorch 工作流集成
• 將 DeepSpeed 與 PyTorch Lightning 結合使用

故障排除

• 調試常見的 DeepSpeed 問題
• 監控和日誌記錄

總結和後續步驟

• 關鍵概念和功能回顧
• 在生產中使用 DeepSpeed 的最佳實踐
• 了解有關 DeepSpeed 的更多資訊的更多資源