New 一對一 AI 實戰課,不設班期,直接預約 →

最新 AI 貼士 · AI News

TorchTPU 是甚麼:Hugging Face 宣布 Transformers 與 Diffusers 原生支援 TPU

Hugging Face 於 2026 年 10 月 20 日發表新技術 TorchTPU,該技術為 PyTorch 提供原生 TPU 支援,改變了以往使用 torch_xla 的做法,並提升了模型執行效率。這一更新將影響 PyTorch 開發者的工作流程。

AI News 封面插圖:開源模型(二)

Hugging Face 新聞來源摘要

Hugging Face 於 2026 年 10 月 20 日正式發表 TorchTPU,這是一個為 PyTorch 提供的原生 TPU 後端,旨在簡化 TPU 的使用,並提升模型執行效率。這一技術的推出標誌著開發者不再需要依賴舊有的 torch_xla 方法,從而減少了潛在的錯誤和調試困難。

本文目錄:這則更新發生了甚麼及何時公布 | 已確認事實與尚未確認事項 | 這則更新會影響誰、影響甚麼決定 | 現在可以採取的核對步驟 | 文章參考資料

這則更新發生了甚麼及何時公布

Hugging Face 在 2026 年 10 月 20 日發表了 TorchTPU,這是一項為 PyTorch 提供的原生 TPU 後端技術。這項技術的推出使得使用 TPU 進行模型訓練和推理變得更加簡單,開發者不再需要依賴以往的 torch_xla 方法。

以往,開發者在 TPU 上執行 PyTorch 模型時,必須透過 PyTorch/XLA(torch_xla)來進行,這樣的方式不僅增加了複雜性,還可能因為細微的改動而導致重新編譯和調試的困難。TorchTPU 的推出旨在解決這些問題,並提供更高效的開發體驗。

已確認事實與尚未確認事項

已確認的事實包括:TorchTPU 使得 Transformers、Diffusers 及 Kernels 能夠在 TPU 上原生執行,並且提供了針對 TPU 調校的 Pallas kernels,支援分散式訓練及 torch.compile 整合。官方指出,使用 Transformers 及 Diffusers 執行 Hugging Face 模型不再需要 Optimum TPU;載入模型時只需指定 device_map=”tpu”,Diffusers 管線則以 pipe.to(“tpu”) 移至 TPU。官方示例亦顯示,在 TPU v6e-8 上使用 Hub kernel、批次大小 64 時,Qwen3-30B-A3B 解碼速度為預設實作的 21.5 倍。

此外,官方測試顯示,TPU 上的 Transformers 測試中有 96.5% 通過,並且已回報 34 個問題,其中 19 個問題已修正。官方同時表明測試尚未全部通過,並正籌備在 TPU 上執行夜間 CI,把結果公開於 Transformers 測試儀表板。

尚未確認的事項包括:各 TPU 型號在香港可用區域的供應及價格、未通過測試涉及的模型以及 TorchTPU 的正式穩定版時間表。

這則更新會影響誰、影響甚麼決定

這項更新將對使用 PyTorch 和 Hugging Face 模型的工程師與技術主管產生重大影響。隨著 TorchTPU 的推出,這些開發者將能夠更輕鬆地在 TPU 上進行模型訓練和推理,從而提升工作效率。

此外,這一技術的改變也可能影響企業在選擇雲端服務和硬件配置時的決策,因為原生支援將使得 TPU 成為更具吸引力的選擇。實際速度與成本仍視乎模型、批次大小及 TPU 型號,採用前應以自己的工作負載測試。

現在可以採取的核對步驟

  1. 檢查 Hugging Face 的官方博客,了解 TorchTPU 的詳細資訊和最新更新。
  2. 評估目前使用的 PyTorch 模型,考慮是否需要轉移到 TorchTPU。
  3. 測試在 TPU 上運行的模型,確保其性能和穩定性符合需求。
  4. 關注官方對於尚未確認事項的後續更新,以便及時調整開發計劃。

進一步了解 Hugging Face TorchTPU 官方博客 或考慮參加 一對一項目指導。

文章參考資料

以上公開資料於 2026 年 10 月 21 日 查閱,參考來源為 Hugging Face:Hugging Face ❤️ TorchTPU: TPUs, Natively(2026-10-20)。

學習 AI,保護你的未來。

查看Hugging Face原文

分享本文

返回最新 AI 貼士與 AI News

AI.Academy

想把這則更新用在工作上?

先核對原文,再用一個真實任務試做。需要導師在課堂帶著完成時,可報讀 AI Academy HK 實戰課。

  • 易上手
  • 一對一實戰
  • 帶走作品

不確定應該從哪一堂開始?

MISA:We're here to help