摘要:Hy4 正式版权重已经公开,本文帮你判断该用哪套权重、自己部署需要什么量级的 GPU,以及怎样和直接调用 API 的成本做公平比较。

结论先行:如果合规允许,并且你的需求是先试纯文本任务,直接调用 API 的门槛最低。只有在需要强数据隔离,或者确实要自己控制推理配置时,才值得自部署。自部署的起点不低:官方推理框架给出的 FP8 示例配置是 4 张 B300/GB300 或 8 张 H200/B200 这一级别。另外,这些示例不是所有配置下的最低门槛,也不代表能跑满 1M 上下文。如果手头资源达不到,与其硬上 Hy4,不如重新评估更小的模型。
Hy4 开放权重知识地图与阅读索引
| 编号 | 先看什么 | 为什么先看 | 看完得到什么 |
|---|---|---|---|
| 1 | 版本与权重选择 | 权重选错,后面的硬件估算就全部作废 | 确定用 Instruct BF16、Instruct FP8 还是 Base |
| 2 | 部署要几张卡 | 硬件是自部署的最大门槛 | 一张硬件对照表和一份盘点清单 |
| 3 | 同一批任务的成本 | 只有在同质量、同延迟下比较才有意义 | API 单任务成本算法,以及自部署成本的构成项 |
| 4 | 决策 | 把前三节的结论落到你的场景 | 走 API、自部署验证,还是换用小模型 |
1→2→3 是递进关系:版本决定权重文件,权重文件决定硬件,硬件决定成本。第 4 节汇总前三节的判断。只关心成本的读者可以直接从第 3 节读起。
To Know:读懂 Hy4 部署需要的术语
| 术语 | 简明解释 |
|---|---|
| 开放权重 | 模型参数文件可以下载并自行部署,使用条件由许可证约束 |
| Instruct / Base | Instruct 是经过指令对齐、可以直接对话的版本;Base 是预训练底座,适合继续训练 |
| BF16 / FP8 | 参数的数值精度。FP8 每个参数约占 1 字节,BF16 约占 2 字节 |
| TP(张量并行) | 把一个模型切分到多张 GPU 上协同计算,TP8 表示切成 8 份 |
| KV cache | 推理时为上下文保存的中间状态,随上下文长度和并发数增长 |
| 缓存读 | API 计费中命中提示缓存的输入 token,单价低于未缓存输入 |
1. Hy4 版本与开放权重怎么选
1.1 Hy4 的三个时间节点
Hy4 的公开过程分三步。最早开放的是 Preview 版本,它在 Hugging Face 的 tencent/Hy4-preview 页面发布,许可证为 Apache 2.0。2026 年 11 月 4 日,腾讯发布公告,宣布 Hy4 正式上线。11 月 20 日,正式版的三套权重在 Hugging Face 公开。
这三个节点的差别直接影响你的选择。Preview 与正式版的许可证不同:正式版采用 Tencent Hy License 1.0,其中第 10 节针对部分对外提供的通用推理服务设置了附加条件。如果你打算把 Hy4 部署成对外服务,请让法务团队对照许可证原文自行判断,本文不对任何具体企业的做法给出法律结论。
1.2 Hy4 三套正式权重的适用条件
| 权重仓库 | 内容 | 适用条件 |
|---|---|---|
tencent/Hy4 |
Instruct,BF16 | 需要最高数值精度,或用作微调、量化的起点;对显存要求最高 |
tencent/Hy4-FP8 |
Instruct,FP8 | 直接用于推理部署;SGLang 和 vLLM 的示例配置都基于它 |
tencent/Hy4-base |
预训练 Base | 要自己做后训练、领域继续训练;不适合直接拿来对话 |
需要特别区分的是:Hy4 正式版不等于 Hy4 flash,后者是独立的产品线。本文讨论的硬件和成本都只针对正式版,不能套用到 flash 上。

2. 自己部署 Hy4 要几张卡
2.1 SGLang 与 vLLM 示例配置对照
两大主流推理框架都给出了 Hy4 的部署示例。下面把它们并排列出:
| 框架 | 权重 | 并行方式 | 示例 GPU | 示例说明 |
|---|---|---|---|---|
| SGLang | FP8 | TP4 | 4×B300 或 4×GB300 | KV 池大小决定实际可用的上下文容量 |
| SGLang | FP8 | TP8 | 8×H200 或 8×B200 | 同上 |
| vLLM | FP8(默认) | TP8 | 8×B300 | 示例上下文窗口为 131,072;只支持单图,视频关闭 |
阅读这张表时要注意三点:
- 这些是示例配置,不是最低配置。SGLang 文档说明,KV 池限制了实际能容纳的上下文,这些配置也不代表任何参数组合下的最低门槛。
- 不能保证跑满 1M。模型卡声明的最大上下文是 1,048,576 token,但具体服务配置下的可用长度需要另算。vLLM 的示例只开到 131,072,两份文档都没有承诺满 1M 可用。
- 两家的数字不能互相套用。vLLM 文档给出的参考显存,只适用于 vLLM 的这套配置。
2.2 770B、49B 与显存的关系
Hy4 常被提到两个数字:770B 是语言主干的总参数量,49B 是每个 token 激活的文本参数量。很多人会把 49B 误读成显存需求,这是错误的。49B 决定的是每个 token 的计算量;为了随时调用任意专家,全部 770B 参数都必须加载进显存。
显存需求要拆成三层来看:
- 权重文件大小:按 vLLM 文档,FP8 约 786 GB,BF16 约 1,549 GB。这首先是磁盘和加载带宽的问题。
- 运行时显存:vLLM 示例的参考显存约为 944 GB(FP8)和 1,859 GB(BF16),比文件本身大,因为还包括运行时开销和 KV cache 预留。
- KV cache 与并发:上下文越长、同时服务的请求越多,KV cache 占用越大。这部分决定了同一套硬件“能装下模型”之后还能服务多少流量。
部署前可以按下面的清单盘点:
- [ ] 可用 GPU 的型号、数量和单卡显存,能否组成 TP4 或 TP8
- [ ] 卡间互联是否满足张量并行的通信要求
- [ ] 本地存储能否容纳约 786 GB(FP8)或约 1,549 GB(BF16)的权重,以及加载速度
- [ ] 目标上下文长度:131K 够用,还是必须更长
- [ ] 峰值并发数,以及在该并发下 KV 池是否够用
- [ ] 是否需要视觉输入(vLLM 示例只开了单图)
- [ ] 选定的推理框架版本,是否与官方 cookbook 或 recipe 一致

3. 用同一批任务算 Hy4 的成本
3.1 API 按量计费的算法
以 API易 的模型页为例:截至 2026 年 11 月 21 日,Hy4 正式版的模型 ID 为 hy4,提供 Default 和 SVIP 两个分组,采用 Chat Completions 接口。标价按每百万 token 计算:未缓存输入 $0.85,输出 $2.55,缓存读 $0.045,实际扣费以控制台为准。需要说明的是,API易 上架 Hy4 的时间早于本次权重开放;公告提到支持视觉,但下面的算例只按纯文本假设计算,不把模型卡上的 1M 上下文、视频或 Computer Use 能力等同于托管服务的实测表现。
计费时,三类 token 各算各的、互不重复:同一个输入 token 要么按未缓存输入计,要么按缓存读计,不会两边都收。下面是一个假设算例,并非实测:
| 项目 | 假设用量 | 单价(每百万) | 费用 |
|---|---|---|---|
| 未缓存输入 | 1,000 万 token | $0.85 | $8.50 |
| 输出 | 300 万 token | $2.55 | $7.65 |
| 缓存读 | 0 | $0.045 | $0 |
| 合计 | — | — | $16.15 |
假设这批调用中有 9,000 次结果通过了你的验收,那么每个合格任务的成本约为 $16.15 ÷ 9,000 ≈ $0.00179。建议用“每个合格任务的成本”而不是“每次调用的成本”来衡量,因为失败重试、返工的费用都应该算进去。这个数字还要和实际观测到的延迟、能承受的并发一起记录,否则无法和自部署方案对比。
3.2 自部署的真实成本构成
自部署的成本远不止 GPU 本身。下表列出需要计入的各项:
| 成本项 | 内容 |
|---|---|
| 计算节点 | 4 卡或 8 卡高端 GPU 节点的购置或租用费用 |
| 存储与网络 | 近 TB 级的权重存储、加载带宽、卡间和节点间互联 |
| 运维 | 推理框架升级、监控告警、故障处理所需的人力 |
| 冗余 | 为保障可用性准备的备用节点,平时可能处于闲置状态 |
| 利用率 | 流量低谷期的闲置成本,它会直接拉高每个任务的单价 |
比较两种方案时,要在同等质量和同等延迟的前提下进行:用同一批任务、同一套验收标准,在相近的延迟和并发目标下,分别算出每个合格任务的成本。由于硬件价格、利用率和人力成本因团队差异很大,本文不给出统一的“回本线”。你需要用自己的报价和流量曲线来算。

4. Hy4 部署决策:API、自部署还是换小模型
把前三节的结论合起来,可以按条件分成三条路径:
- 合规允许 + 先试纯文本任务 → 走 API。不用准备硬件,先用真实任务算出每个合格任务的成本和延迟,作为后续决策的基线。
- 需要强数据隔离,或确需自己控制推理配置 → 盘点硬件后自部署验证。先对照第 2.2 节的清单盘点资源,按 SGLang 或 vLLM 的示例配置跑通,再用和 API 相同的任务集比较质量、延迟和成本。对外提供服务前,先请法务核对许可证第 10 节。
- 资源达不到示例量级 → 重新评估更小的模型。凑不齐 4 张或 8 张高端 GPU 时,强行压缩上下文或并发很可能达不到质量和延迟目标,换用更小的模型往往更现实。
行动卡
- 选定权重:推理部署用
Hy4-FP8,需要继续训练用Hy4-base,并确认用的不是 flash。 - 准备 200~500 条真实任务,写好验收标准。
- 如数据允许外发,先用 API 跑一遍;否则先用公开或合成样本测试,真实数据留在内部环境。记录 token 用量、合格率、延迟和并发表现。
- 如需自部署,按清单盘点硬件,用同一批任务复测。
- 用“每个合格任务的成本 + 延迟”这一个口径做最终决定。
参考资料
- 腾讯 Hy4 正式上线公告: https://www.tencent.com/tencent-launches-hy4-joining-the-ranks-of-the-worlds-leading-open-source-ai-models/
- Hy4 Instruct(BF16)权重: https://huggingface.co/tencent/Hy4
- Hy4 Instruct(FP8)权重: https://huggingface.co/tencent/Hy4-FP8
- Hy4 Base 权重: https://huggingface.co/tencent/Hy4-base
- Tencent Hy License 1.0: https://huggingface.co/tencent/Hy4/blob/main/LICENSE
- Hy4 Preview(Apache 2.0): https://huggingface.co/tencent/Hy4-preview
- SGLang Hy4 Cookbook: https://docs.sglang.io/cookbook/autoregressive/Tencent/Hy4
- vLLM Hy4 Recipe: https://recipes.vllm.ai/tencent/Hy4
- API易 Hy4 上线说明: https://docs.apiyi.com/news/hy4-launch
- API易 模型列表(腾讯): https://docs.apiyi.com/models#腾讯
- Hy4 背景综述(历史快照,权重与上架信息以本文为准): https://help.apiyi.com/tencent-hy4-770b-vision-computer-use-pricing.html
