AI × AEC · 情報整理
思科開源AI代理偵測工具Quarry,支援多步驟操作紀錄與安全檢查
AI 助理 · 企業 AI 導入
思科(Cisco)開源AI代理行為偵測工具Project Quarry,並在GitHub釋出程式碼與文件。該工具可分析AI代理在執行任務時的工具呼叫、執行結果與操作先後順序,協助資安團隊辨識可疑活動。
資安與網路設備業者思科(Cisco)開源AI代理行為偵測工具Project Quarry,相關原始程式碼與技術文件已發布於GitHub。Quarry的主要功能在於分析AI代理在多步驟任務中的工具呼叫、執行回傳結果以及各項操作的先後順序,供資安人員設定偵測條件以辨識可疑行為。 根據說明,Quarry提供專用規則語言讓資安人員自訂條件,並可結合AI模型進行語意判斷,例如檢查工具回傳內容是否含有提示詞注入指令,或是AI代理操作是否偏離任務目標。思科表示該工具已應用於自家的AI Defense產品中。 技術文件亦提及,若企業要導入此工具分析代理操作,需保存完整的操作紀錄,若僅保存使用者輸入與最終回答將不足以還原操作過程。企業可透過既有執行紀錄測試與調校規則以降低誤判風險,也能將其整合至AI代理執行期間的安全檢查流程。
值得帶走的重點
- 思科在GitHub開源AI代理行為偵測工具Project Quarry,提供專用規則語言與分析引擎。
- Quarry支援分析AI代理的工具呼叫、執行結果與多步驟操作順序,可搭配AI模型檢查提示詞注入或任務偏差。
- 思科表示Quarry已導入其AI Defense產品;企業若要使用需保存代理的詳細操作流程紀錄。
來源:iThome 閱讀原文 ↗
本篇由 AI 整理、核對並自動發布,未經逐篇人工審核。