使用Docker實現安全便攜的AI推理：從本地到雲端

Prerequisites:

• 對基本機器學習概念的理解
• Python或後端開發經驗
• 熟悉基礎的容器概念

受衆

• 開發者
• 後端工程師
• 部署AI服務的團隊

Overview:

Docker是一個容器化平臺，用於爲AI推理服務構建便攜、隔離且安全的部署環境。

本次由講師指導的培訓（線上或線下）面向初學者到中級技術專業人員，旨在幫助他們構建安全、便攜的AI推理微服務，這些服務可以在本地機器、服務器或雲虛擬機中一致部署。

在本次研討會結束時，參與者將能夠：

• 構建用於本地和雲端部署的輕量級推理容器。
• 使用最佳實踐技術保護容器化的AI服務。
• 實現便攜的微服務工作流，確保環境一致性。
• 跨多樣化基礎設施部署AI推理端點。

課程形式

• 結合指導性講座與實踐演示。
• 通過動手練習強化部署和安全技術。
• 在實驗室中實踐構建和運行便攜推理服務。

課程定製選項

• 如需根據您的基礎設施或AI工具棧定製本培訓，請聯繫我們進行安排。

Course Outline:

Docker與AI推理簡介

• 瞭解AI推理工作負載
• 容器化推理的優勢
• 部署場景與限制

構建AI推理容器

• 選擇基礎鏡像和框架
• 打包預訓練模型
• 爲容器執行結構化推理代碼

保護容器化的AI服務

• 最小化容器攻擊面
• 管理密鑰和敏感文件
• 安全的網絡和API暴露策略

便攜部署技術

• 優化鏡像以實現便攜性
• 確保可預測的運行時環境
• 跨平臺管理依賴項

本地部署與測試

• 使用Docker在本地運行服務
• 調試推理容器
• 測試性能和可靠性

在服務器和雲虛擬機上部署

• 爲遠程環境適配容器
• 配置安全的服務器訪問
• 在雲虛擬機上部署推理API

使用Docker Compose構建多服務AI系統

• 編排推理與支持組件
• 管理環境變量和配置
• 使用Compose擴展微服務

AI推理服務的監控與維護

• 日誌記錄與可觀測性方法
• 檢測推理管道中的故障
• 在生產環境中更新和版本化模型

總結與下一步