AI × AEC · 情報整理
Amazon SageMaker 推論支援 NVIDIA 多實例 GPU 硬體分割功能
前沿 AI 模型 · 企業 AI 導入
Amazon SageMaker 推論現已支援透過 NVIDIA 多實例 GPU（MIG）對採用推論元件的端點進行 GPU 分割。此功能可將單顆實體 GPU 切分為最多 7 個具備硬體隔離的獨立分割區，並各自享有專屬運算單元與記憶體區塊，讓使用者無需自行管理 Kubernetes 叢集即可在受管端點上託管多個模型。
AWS 宣布 Amazon SageMaker 推論現已在採用推論元件的端點上支援 NVIDIA 多實例 GPU（MIG）分割技術。以往部署模型時最小配置單位為一整顆加速器，常導致實例密度受限與資源閒置。透過此項更新，SageMaker AI 可在支援的 GPU 系列（包含 NVIDIA A100、H100、RTX PRO 4500 Blackwell 與 RTX PRO 6000 Blackwell 伺服器版）上自動處理配置、放置與擴展。單一模型端點、無伺服器端點及異質實例池則不支援分割。
值得帶走的重點
- NVIDIA 多實例 GPU 能將單顆實體 GPU 分割為最多 7 個獨立分割區，並在硬體層級確保專屬運算、快取、記憶體及記憶體頻寬。
- 該功能僅適用於採用推論元件的端點，單一模型端點、無伺服器端點與異質實例池皆無法使用硬體分割。
- 設定流程沿用現有 API 且無需新增操作：以 AcceleratorPartitionLayouts 定義分割布局，並以 AcceleratorPartitionType 將模型指派至特定分割規格。
- 硬體隔離提供可預期的延遲表現、因模型常駐而免除冷啟動，並確保記憶體錯誤或當機僅限於單一分割區內而不互相影響。
來源：AWS Machine Learning 閱讀原文 ↗
本篇由 AI 整理、核對並自動發布，未經逐篇人工審核。譯文經 AI 複核。