MIT CSAIL 發表權重空間程式設計：以大型語言模型直接修改神經網路參數修復缺陷

美國麻省理工學院電腦科學與人工智慧實驗室（MIT CSAIL）研究團隊公布名為「權重空間程式設計」（Weight-Space Programming）的實驗成果。該研究探索讓具備推理能力的通用大型語言模型（LLM）直接分析並修改其他神經網路的權重參數，而非透過傳統資料集、損失函數與梯度下降方法進行微調。 在核心實驗中，研究人員交給 OpenAI 的 GPT-6 Astra 一項任務，診斷阿里巴巴開源的 Qwen3.5-0.8B 小型語言模型。Astra 發現模型在數學測試中容易陷入推理循環並輸出至 Token 上限，隨後透過 Python 工具追溯問題至第 15、19 層多層感知器（MLP）的運算方向，總計僅修改 131,072 個權重（約占總參數 0.016%）。修改後，Qwen 在 MATH-500 的正確率從 7.9% 提升至 48.1%，GSM8K 與 IFEval 成績亦獲改善。研究團隊強調，此舉主要是排除阻礙回答完成的循環問題，讓既有能力得以發揮，而非賦予模型新的數學知識。 除語言模型修復外，實驗亦展示 Astra 能僅憑權重矩陣辨識不同 Atari 遊戲模型、修改模擬車輛控制模型的參數使其通過障礙，甚至直接寫出可在 Breakout 遊戲得分的網路權重。不過，研究團隊也公布了限制與未成功案例：針對較少出現推理循環的 Gemma 3 270M 修改並未提升其數學能力；此外，Qwen 最成功的一次修改共歷經 158 輪互動、80 次 Python 執行，總耗時約 20.3 小時（包含約 4.7 小時中斷等待），尚未證明在效率上優於傳統微調，相關成果仍待社群進一步驗證。

值得帶走的重點

• MIT CSAIL 團隊展示利用通用 LLM 直接定位並編輯特定層神經網路權重，在不使用梯度下降下解決 Qwen3.5-0.8B 的反覆推理問題。
• 經修改 131,072 個參數（約 0.016%）後，Qwen 的 MATH-500 正確率從 7.9% 提升至 48.1%，研究團隊指出此成果屬既有能力釋放而非習得新知識。
• 實驗亦包含以權重辨識遊戲、修補模擬車輛控制模型與直接生成遊戲網路，但面對不同模型時未能創造新能力，且修改過程耗時顯著。