Collinear AI 釋出 CWE-bench v2 資安評測基準 檢驗 AI 模型代碼審計與修復能力

Collinear AI 發布最新資安評測框架 CWE-bench v2，旨在衡量大型語言模型代理在代碼審查與漏洞修復上的防禦能力。與傳統的漏洞分類或生成攻擊腳本不同，該基準測試模擬真實資安維運情境：模型會獲得開源代碼庫，在不提示弱點名稱與數量的情況下，獨立找出瑕疵並產出修復補丁，經由確定性驗證器確保攻擊被阻斷且正常功能未受破壞。 v2 版本包含 250 項任務，涵蓋 C/C++、JavaScript/TypeScript、Go、Java、Python 及 Rust 等六種語言，共計 185 種常見弱點列舉（CWE），並歸納為十項弱點類別。測試集分為公開的 100 項任務（91 種 CWE，含開源驗證器與運行工具）與保留的 150 項任務（126 種 CWE）。驗證機制包含七項嚴格審查，避免過擬合單一結構、記憶已知補丁或因環境建置問題誤判。 根據 2026 年 11 月 2 日公布的綜合榜單，Claude Opus 5.5 取得 67.1% 的 Pass@1 與 79.2% 的 Pass@4（平均單次運行成本 $1.85），其次為 Muse Wonder（66.1%）與 Gemini 4 Argon（65.0%）。開源架構模型 DeepSeek-V4.1-Flash 則以 $0.04 的平均成本達成 57.6% 的 Pass@1。在所有受測模型中，共有 20 項任務未被任何模型攻克，常見失敗原因涵蓋漏洞定位缺失、錯誤判斷、修復未恢復安全屬性以及補丁不完整等情境。

值得帶走的重點

• CWE-bench v2 將規模擴展至 250 項任務與 185 種 CWE 弱點，涵蓋六種主要語言，包含 100 個公開任務與 150 個保留測試任務。
• 評測模擬真實安全審計情境：Agent 必須在未知漏洞類型的前提下排查代碼並產出修補程式，且確定性驗證器嚴格要求不得破壞原有正常功能。
• 截至 2026 年 11 月之排行榜顯示，Claude Opus 5.5 以 67.1% Pass@1（單次成本 $1.85）居首，DeepSeek-V4.1-Flash 則以 $0.04 成本達到 57.6% Pass@1。
• 全數 250 項任務中有 20 項未被任何模型解決，其中信任邊界、身分驗證與錯誤處理為普遍弱項。