在 Amazon Bedrock AgentCore 評估架構中導入決策模型

Amazon Bedrock AgentCore Evaluations 支援在開發階段、批次作業及線上流量中對 AI Agent 進行生命週期評估，具備內建評估器、以大型語言模型作為評判的評估器，以及透過 AWS Lambda 執行的程式碼型評估器。AWS 發布架構示範，展示如何利用 Lambda 連接 TypeSafe 的代管決策模型 Jev 與開源的 Strands Decider 2B。與產出自由格式文字及解釋的通用 LLM 評估器不同，決策模型針對固定選項輸出校準機率分佈。透過 Lambda 配接器處理 OpenTelemetry 追蹤跨度，系統可執行是非判斷、多選分類與階層評分，為 Groundedness（事實依據性）、Helpfulness（實用性）及 Goal Completion（目標達成度）等指標建立量化閥值。

值得帶走的重點

• Amazon Bedrock AgentCore Evaluations 提供由 AWS Lambda 支援的程式碼型評估器，可與外部系統、API 及決策模型整合，搭配 15 種既有內建評估器運作。
• 決策模型針對預設選項輸出校準機率分佈，支援是非題、最多 255 個選項的選擇題，以及 2 至 10 級的評分量表，而非生成無固定置信度的自由文字。
• AWS 提供了將 TypeSafe Jev 與開源 Strands Decider 2B 串接至人資助理 Agent 的實作範例，涵蓋追蹤層級與會話層級的自動化評估。