Collinear AI 釋出 CWE-bench v2 資安漏洞修復評測基準

Collinear AI 推出開源資安評測集 CWE-bench v2，包含 100 項任務並涵蓋 91 種常見弱點列舉（CWE），用於測試 AI 模型在真實開源程式庫中尋找與修復弱點的能力。受測模型需在維持原始功能的前提下產出安全修復。評測採全程式化確定性驗證機制，並由 LLM 評審團與人工審查確認標準，同時保留不公開測試集供持續驗證。在 11 款受測模型中，Gemini 4 Argon 取得 67.8% 的 pass@1 與 81.0% 的 pass@4 成績暫居首位，Claude Opus 5.5 則以 67.3% pass@1 緊追在後；DeepSeek V4.1 Flash 則以每次測試約 $0.04 的成本達到 57.0% pass@1。雖然全體模型合計解決了 95 項任務，但領先模型在各次嘗試中仍有 19% 題目未能解出。該基準以容器化 Harbor 環境包裝，可在 Hugging Face 上直接運行。

值得帶走的重點

• CWE-bench v2 包含 100 個基於真實開源專案的公開任務，涵蓋 91 種 CWE 弱點類別。
• 評分採用程式化確定性驗證器與人工審核，檢驗修復方案是否兼顧安全與現有功能完整性。
• 在已評測的 11 款模型中，Gemini 4 Argon 與 Claude Opus 5.5 的 pass@1 分別為 67.8% 與 67.3%。
• 該套件封裝為 Docker 化 Harbor 任務，可於 Hugging Face 執行評測並支援防禦代理的強化學習訓練。