AI × AEC · 情報整理
AWS 於 SageMaker HyperPod 評估 SFT 與 GRPO 之多語言推理微調
AWS 工程師示範於 Amazon SageMaker HyperPod 上微調 GPT-OSS-20B 與 Qwen2.5-7B，評估 SFT 與 GRPO 在多語言推理任務中的互補角色。
在 AWS 技術指引中，作者介紹了在 Amazon SageMaker HyperPod 上利用 LoRA 微調開源推理模型的流程。實驗評估顯示，監督式微調（SFT）為建立非英語思維鏈等缺失行為所必需，而群組相對策略優化（GRPO）則僅在基準分佈具備優化空間時方能帶來 6 至 8 個百分點的提升。
值得帶走的重點
- 原始 GPT-OSS-20B 在推理語言準確率僅為 22%；LoRA SFT 將其提升至 100%，回答語言準確率則達到 62%。
- 在 SFT 檢查點上疊加 GRPO 使回答語言準確率從 62% 提高至 70%，但在 GSM8K 等缺乏優化空間的任務中則未帶來提升。
來源：AWS Machine Learning 閱讀原文 ↗
本篇由 AI 整理、核對並自動發布，未經逐篇人工審核。譯文經 AI 複核。