微軟開源Scope評測平臺 追蹤AI程式開發代理工具使用與任務表現

微軟推出開源評測平臺Scope，評估AI程式開發代理調用工具的精確度。代理撰寫程式時可能選錯API或忽略文件指示，Scope允許團隊設定任務標準、起始程式碼與具相依性的檢查條件（如先建置成功再檢查SDK初始化），並以大型語言模型評估達成情形，同時保留操作紀錄與工作目錄快照。微軟表示，代理執行結果可能每次不同且自動判斷可能出錯，建議反覆測試並由人員檢查紀錄。平臺須自行部署，支援網頁介面、命令列工具與API。

值得帶走的重點

• 微軟以MIT授權開源Scope平臺，支援評測GitHub Copilot與Claude Code等代理是否依文件正確調用SDK、API與MCP伺服器，並保存模型版本與操作軌跡。
• 平臺支援相依性檢查條件與目錄快照，微軟指出代理執行結果具不確定性且自動評估可能出錯，建議多次測試並由人員檢查紀錄。