SGLang 社群提出 Token Replay 機制以實現無縫 Prefill-Decode 接手

SGLang 開源社群發布一項 RFC 提案（#32143），針對 Prefill-Decode（PD）分離式推論架構提出可選用的無縫交接模式。在目前的分離式架構中，Prompt KV 快取的跨節點傳輸會導致 Decode 節點在快取就緒前無法接續運算，形成傳輸交接空窗。該提案允許 Prefill 節點在傳輸不可變的 Prompt KV 快取期間，暫時承擔解碼工作並向客戶端發送 Token。 在此架構下，Prefill 產生的 Token ID 會寫入單調遞增的交接日誌；Decode 節點接收到凍結的 Prompt KV 快取後，以短批次平行擴展（short extend）重放該 Token 日誌，重建後續的 KV 尾端資料以追上 Prefill 進度，並在特定 Token 邊界原子化接管輸出主導權。該機制以極小體積的 Token 日誌與確定性重放取代傳輸增量 KV 快取，旨在於 Decode 重放速度高於 Prefill 解碼時消除交接延遲。 作者在 H20 測試環境（1P1D、Qwen3-8B 模型）的基準測試中發現，16K 與 32K 長度下的殘餘交接延遲約為 63 毫秒。同時因短擴展重放存在 13 至 16 毫秒的固定啟動耗時，原型設計隨後加入了「密封（seal）—清空（drain）—提交（commit）」流程，防止 Prefill 端持續生成新 Token 導致重放無法精準對齊邊界。

值得帶走的重點

• RFC #32143 提議在 PD 分離架構中，於 KV 傳輸期間由 Prefill 節點持續解碼，Decode 端再透過平行 Token 重放追趕進度以消除交接延遲。
• 該機制以單調遞增的 Token 日誌及確定性重放取代動態 KV 遷移，保留原始不可變 Prompt KV 傳輸流程與注意力運算架構。
• H20 測試環境數據顯示 16K 及 32K 長度下約有 63 毫秒交接延遲，為避免持續生成造成無法收斂，原型協議加入了封閉與清空尾端日誌的確認階段。
• 首階段實作範圍限定於 1P1D、Mooncake 傳輸後端、相同模型與 KV 配置及貪婪解碼（greedy decoding），並維持預設關閉。