騰訊混元 Hy4 開放權重了:自己部署要幾張卡,還是直接調 API?

騰訊混元 Hy4 開放權重了:自己部署要幾張卡,還是直接調 API?

摘要:Hy4 正式版權重已經公開,本文幫你判斷該用哪套權重、自己部署需要什麼量級的 GPU,以及怎樣和直接調用 API 的成本做公平比較。

tencent-hy4-open-weights-self-host-gpus-vs-api-zh-hant-image-0

結論先行:如果合規允許,並且你的需求是先試純文本任務,直接調用 API 的門檻最低。只有在需要強數據隔離,或者確實要自己控制推理配置時,才值得自部署。自部署的起點不低:官方推理框架給出的 FP8 示例配置是 4 張 B300/GB300 或 8 張 H200/B200 這一級別。另外,這些示例不是所有配置下的最低門檻,也不代表能跑滿 1M 上下文。如果手頭資源達不到,與其硬上 Hy4,不如重新評估更小的模型。

Hy4 開放權重知識地圖與閱讀索引

編號 先看什麼 爲什麼先看 看完得到什麼
1 版本與權重選擇 權重選錯,後面的硬件估算就全部作廢 確定用 Instruct BF16、Instruct FP8 還是 Base
2 部署要幾張卡 硬件是自部署的最大門檻 一張硬件對照表和一份盤點清單
3 同一批任務的成本 只有在同質量、同延遲下比較纔有意義 API 單任務成本算法,以及自部署成本的構成項
4 決策 把前三節的結論落到你的場景 走 API、自部署驗證,還是換用小模型

1→2→3 是遞進關係:版本決定權重文件,權重文件決定硬件,硬件決定成本。第 4 節彙總前三節的判斷。只關心成本的讀者可以直接從第 3 節讀起。

To Know:讀懂 Hy4 部署需要的術語

術語 簡明解釋
開放權重 模型參數文件可以下載並自行部署,使用條件由許可證約束
Instruct / Base Instruct 是經過指令對齊、可以直接對話的版本;Base 是預訓練底座,適合繼續訓練
BF16 / FP8 參數的數值精度。FP8 每個參數約佔 1 字節,BF16 約佔 2 字節
TP(張量並行) 把一個模型切分到多張 GPU 上協同計算,TP8 表示切成 8 份
KV cache 推理時爲上下文保存的中間狀態,隨上下文長度和併發數增長
緩存讀 API 計費中命中提示緩存的輸入 token,單價低於未緩存輸入

1. Hy4 版本與開放權重怎麼選

1.1 Hy4 的三個時間節點

Hy4 的公開過程分三步。最早開放的是 Preview 版本,它在 Hugging Face 的 tencent/Hy4-preview 頁面發佈,許可證爲 Apache 2.0。2026 年 11 月 4 日,騰訊發佈公告,宣佈 Hy4 正式上線。11 月 20 日,正式版的三套權重在 Hugging Face 公開。

這三個節點的差別直接影響你的選擇。Preview 與正式版的許可證不同:正式版採用 Tencent Hy License 1.0,其中第 10 節針對部分對外提供的通用推理服務設置了附加條件。如果你打算把 Hy4 部署成對外服務,請讓法務團隊對照許可證原文自行判斷,本文不對任何具體企業的做法給出法律結論。

1.2 Hy4 三套正式權重的適用條件

權重倉庫 內容 適用條件
tencent/Hy4 Instruct,BF16 需要最高數值精度,或用作微調、量化的起點;對顯存要求最高
tencent/Hy4-FP8 Instruct,FP8 直接用於推理部署;SGLang 和 vLLM 的示例配置都基於它
tencent/Hy4-base 預訓練 Base 要自己做後訓練、領域繼續訓練;不適合直接拿來對話

需要特別區分的是:Hy4 正式版不等於 Hy4 flash,後者是獨立的產品線。本文討論的硬件和成本都只針對正式版,不能套用到 flash 上。

tencent-hy4-open-weights-self-host-gpus-vs-api-zh-hant-image-1


2. 自己部署 Hy4 要幾張卡

2.1 SGLang 與 vLLM 示例配置對照

兩大主流推理框架都給出了 Hy4 的部署示例。下面把它們並排列出:

框架 權重 並行方式 示例 GPU 示例說明
SGLang FP8 TP4 4×B300 或 4×GB300 KV 池大小決定實際可用的上下文容量
SGLang FP8 TP8 8×H200 或 8×B200 同上
vLLM FP8(默認) TP8 8×B300 示例上下文窗口爲 131,072;只支持單圖,視頻關閉

閱讀這張表時要注意三點:

  • 這些是示例配置,不是最低配置。SGLang 文檔說明,KV 池限制了實際能容納的上下文,這些配置也不代表任何參數組合下的最低門檻。
  • 不能保證跑滿 1M。模型卡聲明的最大上下文是 1,048,576 token,但具體服務配置下的可用長度需要另算。vLLM 的示例只開到 131,072,兩份文檔都沒有承諾滿 1M 可用。
  • 兩家的數字不能互相套用。vLLM 文檔給出的參考顯存,只適用於 vLLM 的這套配置。

2.2 770B、49B 與顯存的關係

Hy4 常被提到兩個數字:770B 是語言主幹的總參數量,49B 是每個 token 激活的文本參數量。很多人會把 49B 誤讀成顯存需求,這是錯誤的。49B 決定的是每個 token 的計算量;爲了隨時調用任意專家,全部 770B 參數都必須加載進顯存。

顯存需求要拆成三層來看:

  1. 權重文件大小:按 vLLM 文檔,FP8 約 786 GB,BF16 約 1,549 GB。這首先是磁盤和加載帶寬的問題。
  2. 運行時顯存:vLLM 示例的參考顯存約爲 944 GB(FP8)和 1,859 GB(BF16),比文件本身大,因爲還包括運行時開銷和 KV cache 預留。
  3. KV cache 與併發:上下文越長、同時服務的請求越多,KV cache 佔用越大。這部分決定了同一套硬件“能裝下模型”之後還能服務多少流量。

部署前可以按下面的清單盤點:

  • [ ] 可用 GPU 的型號、數量和單卡顯存,能否組成 TP4 或 TP8
  • [ ] 卡間互聯是否滿足張量並行的通信要求
  • [ ] 本地存儲能否容納約 786 GB(FP8)或約 1,549 GB(BF16)的權重,以及加載速度
  • [ ] 目標上下文長度:131K 夠用,還是必須更長
  • [ ] 峯值併發數,以及在該併發下 KV 池是否夠用
  • [ ] 是否需要視覺輸入(vLLM 示例只開了單圖)
  • [ ] 選定的推理框架版本,是否與官方 cookbook 或 recipe 一致

tencent-hy4-open-weights-self-host-gpus-vs-api-zh-hant-image-2


3. 用同一批任務算 Hy4 的成本

3.1 API 按量計費的算法

以 API易 的模型頁爲例:截至 2026 年 11 月 21 日,Hy4 正式版的模型 ID 爲 hy4,提供 Default 和 SVIP 兩個分組,採用 Chat Completions 接口。標價按每百萬 token 計算:未緩存輸入 $0.85,輸出 $2.55,緩存讀 $0.045,實際扣費以控制檯爲準。需要說明的是,API易 上架 Hy4 的時間早於本次權重開放;公告提到支持視覺,但下面的算例只按純文本假設計算,不把模型卡上的 1M 上下文、視頻或 Computer Use 能力等同於託管服務的實測表現。

計費時,三類 token 各算各的、互不重複:同一個輸入 token 要麼按未緩存輸入計,要麼按緩存讀計,不會兩邊都收。下面是一個假設算例,並非實測:

項目 假設用量 單價(每百萬) 費用
未緩存輸入 1,000 萬 token $0.85 $8.50
輸出 300 萬 token $2.55 $7.65
緩存讀 0 $0.045 $0
合計 — — $16.15

假設這批調用中有 9,000 次結果通過了你的驗收,那麼每個合格任務的成本約爲 $16.15 ÷ 9,000 ≈ $0.00179。建議用“每個合格任務的成本”而不是“每次調用的成本”來衡量,因爲失敗重試、返工的費用都應該算進去。這個數字還要和實際觀測到的延遲、能承受的併發一起記錄,否則無法和自部署方案對比。

3.2 自部署的真實成本構成

自部署的成本遠不止 GPU 本身。下表列出需要計入的各項:

成本項 內容
計算節點 4 卡或 8 卡高端 GPU 節點的購置或租用費用
存儲與網絡 近 TB 級的權重存儲、加載帶寬、卡間和節點間互聯
運維 推理框架升級、監控告警、故障處理所需的人力
冗餘 爲保障可用性準備的備用節點,平時可能處於閒置狀態
利用率 流量低谷期的閒置成本,它會直接拉高每個任務的單價

比較兩種方案時,要在同等質量和同等延遲的前提下進行:用同一批任務、同一套驗收標準,在相近的延遲和併發目標下,分別算出每個合格任務的成本。由於硬件價格、利用率和人力成本因團隊差異很大,本文不給出統一的“回本線”。你需要用自己的報價和流量曲線來算。

tencent-hy4-open-weights-self-host-gpus-vs-api-zh-hant-image-3


4. Hy4 部署決策:API、自部署還是換小模型

把前三節的結論合起來,可以按條件分成三條路徑:

  • 合規允許 + 先試純文本任務 → 走 API。不用準備硬件,先用真實任務算出每個合格任務的成本和延遲,作爲後續決策的基線。
  • 需要強數據隔離,或確需自己控制推理配置 → 盤點硬件後自部署驗證。先對照第 2.2 節的清單盤點資源,按 SGLang 或 vLLM 的示例配置跑通,再用和 API 相同的任務集比較質量、延遲和成本。對外提供服務前,先請法務覈對許可證第 10 節。
  • 資源達不到示例量級 → 重新評估更小的模型。湊不齊 4 張或 8 張高端 GPU 時,強行壓縮上下文或併發很可能達不到質量和延遲目標,換用更小的模型往往更現實。

行動卡

  1. 選定權重:推理部署用 Hy4-FP8,需要繼續訓練用 Hy4-base,並確認用的不是 flash。
  2. 準備 200~500 條真實任務,寫好驗收標準。
  3. 如數據允許外發,先用 API 跑一遍;否則先用公開或合成樣本測試,真實數據留在內部環境。記錄 token 用量、合格率、延遲和並發表現。
  4. 如需自部署,按清單盤點硬件,用同一批任務複測。
  5. 用“每個合格任務的成本 + 延遲”這一個口徑做最終決定。

參考資料

  • 騰訊 Hy4 正式上線公告: https://www.tencent.com/tencent-launches-hy4-joining-the-ranks-of-the-worlds-leading-open-source-ai-models/
  • Hy4 Instruct(BF16)權重: https://huggingface.co/tencent/Hy4
  • Hy4 Instruct(FP8)權重: https://huggingface.co/tencent/Hy4-FP8
  • Hy4 Base 權重: https://huggingface.co/tencent/Hy4-base
  • Tencent Hy License 1.0: https://huggingface.co/tencent/Hy4/blob/main/LICENSE
  • Hy4 Preview(Apache 2.0): https://huggingface.co/tencent/Hy4-preview
  • SGLang Hy4 Cookbook: https://docs.sglang.io/cookbook/autoregressive/Tencent/Hy4
  • vLLM Hy4 Recipe: https://recipes.vllm.ai/tencent/Hy4
  • API易 Hy4 上線說明: https://docs.apiyi.com/news/hy4-launch
  • API易 模型列表(騰訊): https://docs.apiyi.com/models#騰訊
  • Hy4 背景綜述(歷史快照,權重與上架信息以本文爲準): https://help.apiyi.com/tencent-hy4-770b-vision-computer-use-pricing.html

Similar Posts