MIT展示權重空間程式設計，GPT-6 Astra可直接讀寫神經網路權重

麻省理工學院電腦科學暨人工智慧實驗室（MIT CSAIL）研究團隊公布實驗成果，提出名為「權重空間程式設計（Weight-Space Programming）」的新方法。該研究讓通用大型語言模型GPT-6 Astra在未經傳統訓練或梯度更新程序下，直接分析並修改Qwen3.5-0.8B模型的數值參數權重。 在實驗中，Astra透過Python環境檢查權重，並藉由GSM8K與MATH訓練集題目的推論回饋進行分析，成功將模型反覆產生相同內容的異常定位在第15與19層的多層感知器（MLP），共修改約13萬個權重（約占整體0.016%）。修改後，Qwen模型在MATH-500測試正確率由7.9%升至48.1%，GSM8K正確率由13.8%提高至67.1%，IFEval指令遵循測試亦從21.0%升至62.3%。 此外，團隊亦測試其編寫小型神經網路能力，Astra能根據遊戲規則從零編寫權重，並在Breakout等三款遊戲中擊敗訓練1億步的PPO模型。不過，面對原本較少重複推理的Gemma 3 270M，Astra則未能顯著改善其數學成績。研究團隊已公開實驗紀錄與修改後權重，第三方人員在Hugging Face重建後亦於MATH-500取得51.0%正確率。

值得帶走的重點

• MIT CSAIL利用GPT-6 Astra直接修改Qwen3.5-0.8B約0.016%的權重，未進行重新訓練即解決重複推理問題。
• 修改後Qwen模型的MATH-500正確率從7.9%升至48.1%，GSM8K從13.8%增至67.1%，IFEval從21.0%提高至62.3%。
• Astra亦能依遊戲規則與架構從零編寫權重，在Breakout等遊戲表現超越訓練1億步的PPO模型。
• 面對較少重複推理的Gemma 3 270M模型，此方法未能明顯提升數學表現；研究團隊已公開實驗紀錄與修改後權重。