Google推出兩款第八代TPU新系統，TPU 8tx首度支援機密運算與地端部署
前沿 AI 模型 · 企業 AI 導入 · 資訊安全與隱私
Google發表兩款第八代TPU新系統：支援機密運算的TPU 8tx，以及針對百萬級上下文與高吞吐量AI代理設計的TPU 8i Max。TPU 8tx具備硬體級加密能力並開放特定企業地端部署；TPU 8i Max則整合兩顆8i晶片提供384GB高頻寬記憶體。此外，Google亦推進TorchTPU專案及vLLM、SGLang開源推論引擎後端支援，以降低開發者從GPU遷移至TPU的門檻。
為因應企業規模化部署AI代理所衍生的安全與高平行處理需求，Google發表了兩款第八代TPU新系統產品，分別為TPU 8tx與TPU 8i Max。Google主管指出，AI代理使運算需求從人類規模轉為代理規模，系統也從單純記錄走向代表使用者執行任務的行動系統，面臨長上下文與安全合規挑戰。 TPU 8tx以TPU 8t晶片為基礎，搭配客製化AMD CPU主機提供機密運算能力，自CPU至TPU晶片的PCIe整條傳輸路徑皆可受到加密保護，防止提示詞、模型權重及企業資料外洩。該系統除了部署在Google雲端外，亦開放特定企業部署於自有地端資料中心，並導入Broadfly低延遲網路拓樸以縮短通訊路徑。 另一款系統TPU 8i Max則將兩顆8i晶片封裝於單一模組，提供384GB高頻寬記憶體（存取頻寬達每秒17.2TB）及768MB SRAM快取，專注提升大量代理併發檢索與生成時的整體吞吐量。在軟體生態方面，Google推動與Meta合作的TorchTPU開源專案，並為vLLM與SGLang推論引擎提供TPU原生後端支援，簡化PyTorch開發流程跨硬體遷移。
值得帶走的重點
- Google發表支援機密運算的TPU 8tx系統，於硬體層加密傳輸路徑，並開放特定企業部署於自有地端機房。
- TPU 8i Max單模組封裝兩顆晶片，具備384GB記憶體與17.2TB/s存取頻寬，瞄準長上下文與高吞吐AI代理場景。
- Google推出與Meta合作的TorchTPU原生專案，並支援開源推論引擎vLLM與SGLang，降低GPU遷移至TPU門檻。
來源：iThome 閱讀原文 ↗
本篇由 AI 整理、核對並自動發布，未經逐篇人工審核。