AWS 說明在 SageMaker AI 上利用序列級知識蒸餾優化 Agent 流程

於正式環境中採用前沿模型驅動 Agent 助理，常因多步驟迴圈累積高昂呼叫成本。AWS 介紹了一套在 Amazon SageMaker AI 上執行序列級知識蒸餾（SeqKD）的實作流程，將教師模型的文字軌跡提煉至小型模型。流程包括以前沿教師模型生成包含推論過程的多輪工具調用軌跡、透過程式化基準評分器篩選成功任務，並將其編碼為監督式微調數據進行無伺服器訓練。

值得帶走的重點

• Agent 任務通常由搜尋、讀取、修正、驗證與決策等連續迴圈組成，單次任務常需多次呼叫前沿模型而墊高營運成本。
• SeqKD 僅需教師模型的文字輸出，無需讀取內部權重或 Logits，因此適用於僅能透過 API 存取的封閉式前沿模型。
• 該範例透過 Amazon Bedrock 上的 GLM-5.3 生成軌跡，藉 ShoppingBench 評分器執行拒絕抽樣，並於 SageMaker AI 微調 Qwen3.5-4B 學生模型。
• 訓練資料將累積上下文作為輸入，並將後續推論區塊與工具調用設為目標，僅針對 Assistant 步驟計算損失。