AWS 與 i14 將 Laplace 3B 線性注意力模型部署於 Trainium2

i14 與 AWS 合作，透過 TorchNeuron Native 原生 PyTorch 支援在 AWS Trainium2 上執行 Laplace 3B 線性注意力模型。該架構以門控線性注意力取代 Softmax，每序列循環狀態維持在 29.5 MB。在單一 trn2.48xlarge 執行個體上，該模型達到每秒約 120,000 個訓練詞元，並在 1,280 個並行序列下達到每秒 11,544 個推論輸出詞元。

值得帶走的重點

• Laplace 3B 採用門控線性注意力將每序列循環狀態維持在 29.5 MB，使訓練注意力複雜度轉為 O(T)，推論則為 O(1)。
• 在單一 AWS trn2.48xlarge 執行個體上，該模型訓練速度達到每秒約 120,000 個詞元，並在 1,280 個並行序列下輸出每秒 11,544 個詞元。