AWS 展示在 Amazon EKS 與 SageMaker HyperPod 部署 NVIDIA Nemotron 3.5 Super VL

AWS 發布在 Amazon EKS 及 SageMaker HyperPod EKS 部署 NVIDIA Nemotron 3.5 Super VL 的技術指引。Nemotron 3.5 Super VL 是從 Nemotron 3 Ultra 蒸餾而來的開源多模態混合專家架構模型，總參數為 120B，每個 token 啟動 12B 參數。該模型支援文字、影像、文件與影片輸入，並具備最高 1M token 的上下文長度。

值得帶走的重點

• Nemotron 3.5 Super VL 採用 Mamba-2 與 Transformer 混合專家架構結合 RADIO 視覺編碼器，在 120B 總參數中每 token 僅啟動 12B 參數以支援多模態推理。
• AWS 透過 aws-do-eks 提供參考實作，利用 NVIDIA Dynamo 與 vLLM 在配備 B200 與 H200 GPU 的執行個體上驗證了 EKS 及 SageMaker HyperPod 部署架構。