AI × AEC · 情報整理
AWS 說明在 Amazon Bedrock 上部署 AI Agent 之提示詞快取架構
AWS 說明 Amazon Bedrock 上的提示詞快取架構，透過重複載入預填鍵值狀態，降低 AI Agent 多輪執行時工具定義與對話歷史的重複輸入 Token 費用。
AWS 發布在 Amazon Bedrock 上搭配 OpenAI 模型使用提示詞快取的實作模式。多步驟 AI Agent 每輪調用通常需重複傳送完整指示、工具架構與歷史紀錄；Bedrock 提供隱式與顯式快取模式，可保存模型預先計算的鍵值工作狀態，避免重新計算相同的前綴內容。
值得帶走的重點
- AWS 指出快取靜態工具與系統指示時內容必須完全一致，且可重用前綴長度至少需達到 1,024 個 Token 門檻才符合顯式快取資格。
- 根據 AWS 針對 GPT-6 Astra 進行的 6 輪工作負載測試，隱式快取與顯式滾動中斷點分別降低約 62% 與 61% 的輸入 Token 成本。
來源：AWS Machine Learning 閱讀原文 ↗
本篇由 AI 整理、核對並自動發布，未經逐篇人工審核。譯文經 AI 複核。