Meta 推出開源權重多模態 MoE 模型 Muse Spark Open

Meta 推出開源權重多模態混合專家（MoE）模型 Muse Spark Open，總參數量約為 8,160 億，每 token 啟用約 420 億參數。該架構支援文字、影像、音訊與影片輸入，並具備最高達 1M tokens 的上下文視窗，最終以文字形式輸出。該模型專注於 Agent 導向的程式編寫任務，訓練目標包含程式庫閱讀、多檔案重構、長程除錯、工具調用，以及檢視螢幕截圖與錄影等工作流程。模型具備 62 個層級，每個 MoE 層包含 256 名專家，每 token 路由選取 8 名。視覺輸入採用 1.8B 參數的感知編碼器，音訊則透過卷積金字塔編碼器處理，每 80 毫秒產生一個音訊 token。權重提供 BF16 與 NVFP4 格式供部署使用。

值得帶走的重點

• Muse Spark Open 具備約 8,160 億總參數，每層 256 名專家並選取 8 名，每 token 運算約 420 億參數，支援 1M tokens 上下文視窗。
• 模型支援文字、圖像、音訊與影片輸入，文字輸出聚焦於多檔案重構、工具呼叫與自主除錯等 Agent 任務流程。
• 感知架構包含 1.8B 參數的視覺編碼器，以及每 80 毫秒輸出一個 token（每秒 12.5 個 token）的音訊編碼模組。
• 權重檔提供約 1.5 TB 的 BF16 格式以及 NVFP4 格式，支援在 NVIDIA H200 叢集或單一 B200 節點上運行。