腾讯混元 Hy4 开放权重了:自己部署要几张卡,还是直接调 API?

腾讯混元 Hy4 开放权重了:自己部署要几张卡,还是直接调 API?

摘要:Hy4 正式版权重已经公开,本文帮你判断该用哪套权重、自己部署需要什么量级的 GPU,以及怎样和直接调用 API 的成本做公平比较。

tencent-hy4-open-weights-self-host-gpus-vs-api-image-0

结论先行:如果合规允许,并且你的需求是先试纯文本任务,直接调用 API 的门槛最低。只有在需要强数据隔离,或者确实要自己控制推理配置时,才值得自部署。自部署的起点不低:官方推理框架给出的 FP8 示例配置是 4 张 B300/GB300 或 8 张 H200/B200 这一级别。另外,这些示例不是所有配置下的最低门槛,也不代表能跑满 1M 上下文。如果手头资源达不到,与其硬上 Hy4,不如重新评估更小的模型。

Hy4 开放权重知识地图与阅读索引

编号 先看什么 为什么先看 看完得到什么
1 版本与权重选择 权重选错,后面的硬件估算就全部作废 确定用 Instruct BF16、Instruct FP8 还是 Base
2 部署要几张卡 硬件是自部署的最大门槛 一张硬件对照表和一份盘点清单
3 同一批任务的成本 只有在同质量、同延迟下比较才有意义 API 单任务成本算法,以及自部署成本的构成项
4 决策 把前三节的结论落到你的场景 走 API、自部署验证,还是换用小模型

1→2→3 是递进关系:版本决定权重文件,权重文件决定硬件,硬件决定成本。第 4 节汇总前三节的判断。只关心成本的读者可以直接从第 3 节读起。

To Know:读懂 Hy4 部署需要的术语

术语 简明解释
开放权重 模型参数文件可以下载并自行部署,使用条件由许可证约束
Instruct / Base Instruct 是经过指令对齐、可以直接对话的版本;Base 是预训练底座,适合继续训练
BF16 / FP8 参数的数值精度。FP8 每个参数约占 1 字节,BF16 约占 2 字节
TP(张量并行) 把一个模型切分到多张 GPU 上协同计算,TP8 表示切成 8 份
KV cache 推理时为上下文保存的中间状态,随上下文长度和并发数增长
缓存读 API 计费中命中提示缓存的输入 token,单价低于未缓存输入

1. Hy4 版本与开放权重怎么选

1.1 Hy4 的三个时间节点

Hy4 的公开过程分三步。最早开放的是 Preview 版本,它在 Hugging Face 的 tencent/Hy4-preview 页面发布,许可证为 Apache 2.0。2026 年 11 月 4 日,腾讯发布公告,宣布 Hy4 正式上线。11 月 20 日,正式版的三套权重在 Hugging Face 公开。

这三个节点的差别直接影响你的选择。Preview 与正式版的许可证不同:正式版采用 Tencent Hy License 1.0,其中第 10 节针对部分对外提供的通用推理服务设置了附加条件。如果你打算把 Hy4 部署成对外服务,请让法务团队对照许可证原文自行判断,本文不对任何具体企业的做法给出法律结论。

1.2 Hy4 三套正式权重的适用条件

权重仓库 内容 适用条件
tencent/Hy4 Instruct,BF16 需要最高数值精度,或用作微调、量化的起点;对显存要求最高
tencent/Hy4-FP8 Instruct,FP8 直接用于推理部署;SGLang 和 vLLM 的示例配置都基于它
tencent/Hy4-base 预训练 Base 要自己做后训练、领域继续训练;不适合直接拿来对话

需要特别区分的是:Hy4 正式版不等于 Hy4 flash,后者是独立的产品线。本文讨论的硬件和成本都只针对正式版,不能套用到 flash 上。

tencent-hy4-open-weights-self-host-gpus-vs-api-image-1


2. 自己部署 Hy4 要几张卡

2.1 SGLang 与 vLLM 示例配置对照

两大主流推理框架都给出了 Hy4 的部署示例。下面把它们并排列出:

框架 权重 并行方式 示例 GPU 示例说明
SGLang FP8 TP4 4×B300 或 4×GB300 KV 池大小决定实际可用的上下文容量
SGLang FP8 TP8 8×H200 或 8×B200 同上
vLLM FP8(默认) TP8 8×B300 示例上下文窗口为 131,072;只支持单图,视频关闭

阅读这张表时要注意三点:

  • 这些是示例配置,不是最低配置。SGLang 文档说明,KV 池限制了实际能容纳的上下文,这些配置也不代表任何参数组合下的最低门槛。
  • 不能保证跑满 1M。模型卡声明的最大上下文是 1,048,576 token,但具体服务配置下的可用长度需要另算。vLLM 的示例只开到 131,072,两份文档都没有承诺满 1M 可用。
  • 两家的数字不能互相套用。vLLM 文档给出的参考显存,只适用于 vLLM 的这套配置。

2.2 770B、49B 与显存的关系

Hy4 常被提到两个数字:770B 是语言主干的总参数量,49B 是每个 token 激活的文本参数量。很多人会把 49B 误读成显存需求,这是错误的。49B 决定的是每个 token 的计算量;为了随时调用任意专家,全部 770B 参数都必须加载进显存。

显存需求要拆成三层来看:

  1. 权重文件大小:按 vLLM 文档,FP8 约 786 GB,BF16 约 1,549 GB。这首先是磁盘和加载带宽的问题。
  2. 运行时显存:vLLM 示例的参考显存约为 944 GB(FP8)和 1,859 GB(BF16),比文件本身大,因为还包括运行时开销和 KV cache 预留。
  3. KV cache 与并发:上下文越长、同时服务的请求越多,KV cache 占用越大。这部分决定了同一套硬件“能装下模型”之后还能服务多少流量。

部署前可以按下面的清单盘点:

  • [ ] 可用 GPU 的型号、数量和单卡显存,能否组成 TP4 或 TP8
  • [ ] 卡间互联是否满足张量并行的通信要求
  • [ ] 本地存储能否容纳约 786 GB(FP8)或约 1,549 GB(BF16)的权重,以及加载速度
  • [ ] 目标上下文长度:131K 够用,还是必须更长
  • [ ] 峰值并发数,以及在该并发下 KV 池是否够用
  • [ ] 是否需要视觉输入(vLLM 示例只开了单图)
  • [ ] 选定的推理框架版本,是否与官方 cookbook 或 recipe 一致

tencent-hy4-open-weights-self-host-gpus-vs-api-image-2


3. 用同一批任务算 Hy4 的成本

3.1 API 按量计费的算法

以 API易 的模型页为例:截至 2026 年 11 月 21 日,Hy4 正式版的模型 ID 为 hy4,提供 Default 和 SVIP 两个分组,采用 Chat Completions 接口。标价按每百万 token 计算:未缓存输入 $0.85,输出 $2.55,缓存读 $0.045,实际扣费以控制台为准。需要说明的是,API易 上架 Hy4 的时间早于本次权重开放;公告提到支持视觉,但下面的算例只按纯文本假设计算,不把模型卡上的 1M 上下文、视频或 Computer Use 能力等同于托管服务的实测表现。

计费时,三类 token 各算各的、互不重复:同一个输入 token 要么按未缓存输入计,要么按缓存读计,不会两边都收。下面是一个假设算例,并非实测:

项目 假设用量 单价(每百万) 费用
未缓存输入 1,000 万 token $0.85 $8.50
输出 300 万 token $2.55 $7.65
缓存读 0 $0.045 $0
合计 — — $16.15

假设这批调用中有 9,000 次结果通过了你的验收,那么每个合格任务的成本约为 $16.15 ÷ 9,000 ≈ $0.00179。建议用“每个合格任务的成本”而不是“每次调用的成本”来衡量,因为失败重试、返工的费用都应该算进去。这个数字还要和实际观测到的延迟、能承受的并发一起记录,否则无法和自部署方案对比。

3.2 自部署的真实成本构成

自部署的成本远不止 GPU 本身。下表列出需要计入的各项:

成本项 内容
计算节点 4 卡或 8 卡高端 GPU 节点的购置或租用费用
存储与网络 近 TB 级的权重存储、加载带宽、卡间和节点间互联
运维 推理框架升级、监控告警、故障处理所需的人力
冗余 为保障可用性准备的备用节点,平时可能处于闲置状态
利用率 流量低谷期的闲置成本,它会直接拉高每个任务的单价

比较两种方案时,要在同等质量和同等延迟的前提下进行:用同一批任务、同一套验收标准,在相近的延迟和并发目标下,分别算出每个合格任务的成本。由于硬件价格、利用率和人力成本因团队差异很大,本文不给出统一的“回本线”。你需要用自己的报价和流量曲线来算。

tencent-hy4-open-weights-self-host-gpus-vs-api-image-3


4. Hy4 部署决策:API、自部署还是换小模型

把前三节的结论合起来,可以按条件分成三条路径:

  • 合规允许 + 先试纯文本任务 → 走 API。不用准备硬件,先用真实任务算出每个合格任务的成本和延迟,作为后续决策的基线。
  • 需要强数据隔离,或确需自己控制推理配置 → 盘点硬件后自部署验证。先对照第 2.2 节的清单盘点资源,按 SGLang 或 vLLM 的示例配置跑通,再用和 API 相同的任务集比较质量、延迟和成本。对外提供服务前,先请法务核对许可证第 10 节。
  • 资源达不到示例量级 → 重新评估更小的模型。凑不齐 4 张或 8 张高端 GPU 时,强行压缩上下文或并发很可能达不到质量和延迟目标,换用更小的模型往往更现实。

行动卡

  1. 选定权重:推理部署用 Hy4-FP8,需要继续训练用 Hy4-base,并确认用的不是 flash。
  2. 准备 200~500 条真实任务,写好验收标准。
  3. 如数据允许外发,先用 API 跑一遍;否则先用公开或合成样本测试,真实数据留在内部环境。记录 token 用量、合格率、延迟和并发表现。
  4. 如需自部署,按清单盘点硬件,用同一批任务复测。
  5. 用“每个合格任务的成本 + 延迟”这一个口径做最终决定。

参考资料

  • 腾讯 Hy4 正式上线公告: https://www.tencent.com/tencent-launches-hy4-joining-the-ranks-of-the-worlds-leading-open-source-ai-models/
  • Hy4 Instruct(BF16)权重: https://huggingface.co/tencent/Hy4
  • Hy4 Instruct(FP8)权重: https://huggingface.co/tencent/Hy4-FP8
  • Hy4 Base 权重: https://huggingface.co/tencent/Hy4-base
  • Tencent Hy License 1.0: https://huggingface.co/tencent/Hy4/blob/main/LICENSE
  • Hy4 Preview(Apache 2.0): https://huggingface.co/tencent/Hy4-preview
  • SGLang Hy4 Cookbook: https://docs.sglang.io/cookbook/autoregressive/Tencent/Hy4
  • vLLM Hy4 Recipe: https://recipes.vllm.ai/tencent/Hy4
  • API易 Hy4 上线说明: https://docs.apiyi.com/news/hy4-launch
  • API易 模型列表(腾讯): https://docs.apiyi.com/models#腾讯
  • Hy4 背景综述(历史快照,权重与上架信息以本文为准): https://help.apiyi.com/tencent-hy4-770b-vision-computer-use-pricing.html

类似文章