AI × AEC · 情報整理
AWS 提出 SageMaker 語音模型實測自動擴展配置法
AWS 發表針對 Amazon SageMaker AI 語音合成模型（如 Kokoro-82M）的基準測試方法，改以即時端點之並行上限與擴展耗時測量值推導自動擴展目標，取代傳統估算設定。
AWS 提出了一種針對 Amazon SageMaker AI 語音合成工作負載的實測自動擴展配置方法，並以 Kokoro-82M 模型進行驗證。該方案透過測量單一執行個體之並行容量極限與端點實際擴展所需時間來推算擴展參數，避免突發流量因估算錯誤造成佇列延遲並違反服務水準目標。
值得帶走的重點
- AWS 指出語音合成任務缺乏逐 token 生成循環，使用 SageMaker 原生之 ConcurrentRequestsPerModel 指標比大語言模型常見的 token 速率更適合作為擴展依據。
- 針對 Kokoro-82M 的負載測試顯示，單一執行個體並行上限（Q_max）為 50 個請求；若提升至 60 個請求，首字音訊時間即會突破 3,000 毫秒的服務水準目標。
來源：AWS Machine Learning 閱讀原文 ↗
本篇由 AI 整理、核對並自動發布，未經逐篇人工審核。譯文經 AI 複核。