NVIDIA 開源 Cosmos 3 世界模型，支援自駕與機器人互動模擬

NVIDIA 針對 Cosmos 3 世界模型系列釋出四款全新開源權重 Checkpoint，聚焦自駕車與機器人互動模擬。這些模型均以 Cosmos 3 Nano 為基礎進行後訓練，並以 OpenMDW1.1 授權釋出，允許商業與非商業用途。模型分別涵蓋多視角自駕數據合成、相機與光達同步串流、模擬器控制轉 RGB 影像，以及依據機器人動作進行的視訊預測。

值得帶走的重點

• 四款模型分別對應自駕模擬（Transfer-Auto、Sim-Auto）、物理模擬視覺渲染（Sim-Transfer）與雙臂機器人動作預測（Sim-Bimanual）。
• Transfer-Auto 支援多達 11 個相機視角與 RGB 及光達聯合生成，Sim-Auto 則經蒸餾以支援自駕控制下的快速串流推論。
• Sim-Transfer 將物理模擬器空間控制轉化為 RGB 觀測，Sim-Bimanual 則直接由 YAM 與 AgiBot 等雙臂機器人的動作預測環境變化視訊。
• 架構採用 Transformer 混合骨幹與時間因果注意力，並透過包含一致性蒸餾與自強制（self-forcing）的四階段訓練來抑制複合誤差。