NVIDIA 說明全端共同設計架構以應對 AI 記憶體瓶頸

面對模型規模擴大、上下文延長與多輪 Agent 流程所帶來的 GPU 記憶體壓力，NVIDIA 表示單純增加高頻寬記憶體（HBM）容量會受到記憶體頻寬上限的限制。NVIDIA 指出，解決方案在於透過硬體、互連與軟體的全端共同設計，協調 GPU HBM、CPU LPDDR 記憶體、本機 SSD 及分層外部儲存所構成的記憶體階層架構。為了提升記憶體使用率，NVIDIA 列舉了多項核心技術：利用 4 位元 NVFP4 格式縮小模型權重並在 NVL72 架構下分散配置；將 NVFP4 應用於鍵值快取（KV cache）；以及利用 NVIDIA Dynamo 軟體搭配 NVIDIA CMX 儲存架構，將未處於使用狀態的上下文卸載至成本較低的分層儲存中。此外，NVIDIA 表示透過 Nemotron Retriever 模型與 cuVS 函式庫，可將 RAG 嵌入與索引維持在 CPU 及儲存層，避免企業知識庫常駐於 HBM 中。

值得帶走的重點

• Agent 流程處理高達 300 萬個 token 的歷程紀錄與 RAG 應用，顯著推升推論時的 HBM 容量需求。
• NVIDIA 採用 NVFP4 4 位元精度格式，相較於 FP8 能降低模型權重與 KV 快取的記憶體佔用。
• Dynamo 軟體整合 HBM、Vera CPU 記憶體與共享 CMX 儲存，統一管理並卸載非使用中的 KV 快取上下文。
• NVIDIA 宣稱在 SemiAnalysis AgentX 評測中，Vera Rubin NVL72 相較於 GB300 NVL72 的單位成本推論吞吐量提升最高達 30 倍。