요약: Hy4 정식 버전 가중치가 공개되었어요. 이 글에서는 어떤 가중치를 써야 할지, 직접 배포하려면 어느 정도 수준의 GPU가 필요한지, 그리고 API를 직접 호출하는 비용과 어떻게 공정하게 비교할 수 있는지를 짚어드릴게요.

결론부터 말씀드리면: 규정상 허용되고, 우선 순수 텍스트 작업을 시험해보고 싶다면 API를 직접 호출하는 게 진입 장벽이 가장 낮아요. 강한 데이터 격리가 필요하거나, 실제로 추론 구성을 직접 제어해야 할 때만 자체 배포가 가치가 있어요. 자체 배포의 시작점은 낮지 않아요. 공식 추론 프레임워크가 제시한 FP8 예시 구성은 B300/GB300 4장 또는 H200/B200 8장 수준이에요. 또한 이 예시들은 모든 구성에서의 최소 기준이 아니며, 1M 컨텍스트를 꽉 채워 돌릴 수 있다는 의미도 아니에요. 손에 있는 자원이 여기에 미치지 못한다면, 무리하게 Hy4를 쓰기보다 더 작은 모델을 다시 검토하는 편이 나아요.
Hy4 오픈 웨이트 지식 지도와 읽기 안내
| 번호 | 먼저 볼 것 | 먼저 봐야 하는 이유 | 보고 나서 얻는 것 |
|---|---|---|---|
| 1 | 버전과 가중치 선택 | 가중치를 잘못 고르면 이후 하드웨어 견적이 전부 무의미해져요 | Instruct BF16, Instruct FP8, Base 중 무엇을 쓸지 결정 |
| 2 | 배포에 카드가 몇 장 필요한가 | 하드웨어는 자체 배포의 최대 진입 장벽 | 하드웨어 비교표 한 장과 점검 체크리스트 |
| 3 | 동일 작업 묶음의 비용 | 같은 품질, 같은 지연 조건에서 비교해야만 의미가 있어요 | API 단일 작업 비용 계산법과 자체 배포 비용의 구성 항목 |
| 4 | 의사결정 | 앞 세 섹션의 결론을 당신의 상황에 적용 | API를 쓸지, 자체 배포로 검증할지, 아니면 더 작은 모델로 바꿀지 |
1→2→3은 점진적인 관계예요. 버전이 가중치 파일을 결정하고, 가중치 파일이 하드웨어를 결정하며, 하드웨어가 비용을 결정해요. 4번 섹션은 앞 세 섹션의 판단을 종합해요. 비용만 궁금한 독자라면 바로 3번 섹션부터 읽으셔도 돼요.
To Know: Hy4 배포를 이해하는 데 필요한 용어
| 용어 | 간단한 설명 |
|---|---|
| 오픈 웨이트 | 모델 파라미터 파일을 다운로드해 직접 배포할 수 있으며, 사용 조건은 라이선스에 의해 제약돼요 |
| Instruct / Base | Instruct는 명령 정렬을 거쳐 바로 대화할 수 있는 버전이고, Base는 사전 학습 베이스로 추가 학습에 적합해요 |
| BF16 / FP8 | 파라미터의 수치 정밀도예요. FP8은 파라미터당 약 1바이트, BF16은 약 2바이트를 차지해요 |
| TP(텐서 병렬) | 하나의 모델을 여러 GPU에 나눠 협력 계산하는 방식으로, TP8은 8개로 나눈다는 뜻이에요 |
| KV cache | 추론 시 컨텍스트를 위해 저장하는 중간 상태로, 컨텍스트 길이와 동시성 수에 따라 증가해요 |
| 캐시 읽기 | API 과금에서 프롬프트 캐시에 적중한 입력 토큰으로, 캐시되지 않은 입력보다 단가가 낮아요 |
1. Hy4 버전과 오픈 웨이트, 어떻게 선택할까
1.1 Hy4의 세 가지 공개 시점
Hy4의 공개 과정은 세 단계로 나뉘어요. 가장 먼저 공개된 건 Preview 버전이에요. Hugging Face의 tencent/Hy4-preview 페이지에 Apache 2.0 라이선스로 배포됐어요. 2026년 11월 4일, Tencent가 공지를 내고 Hy4 정식 출시를 발표했어요. 11월 20일에는 정식 버전의 세 가지 웨이트가 Hugging Face에 공개됐어요.
이 세 시점의 차이는 선택에 직접 영향을 줘요. Preview와 정식 버전은 라이선스가 달라요. 정식 버전은 Tencent Hy License 1.0을 따르며, 제10조에는 일부 외부 제공 범용 추론 서비스에 대한 추가 조건이 있어요. Hy4를 외부 서비스로 배포할 계획이라면, 법무 팀이 라이선스 원문을 직접 검토해 판단하도록 하세요. 이 글은 특정 기업의 방식에 법적 결론을 내리지 않아요.
1.2 Hy4 공식 웨이트 세 가지의 사용 조건
| 웨이트 저장소 | 내용 | 사용 조건 |
|---|---|---|
tencent/Hy4 |
Instruct, BF16 | 최고 수준의 수치 정밀도가 필요하거나, 파인튜닝·양자화의 시작점으로 쓸 때 적합해요. VRAM 요구량이 가장 높아요. |
tencent/Hy4-FP8 |
Instruct, FP8 | 추론 배포에 바로 사용해요. SGLang과 vLLM의 예시 구성이 모두 이 버전을 기반으로 해요. |
tencent/Hy4-base |
사전 학습 Base | 직접 후속 학습이나 도메인 추가 학습을 할 때 사용해요. 바로 대화용으로 쓰기에는 적합하지 않아요. |
특히 구분해야 할 점은 Hy4 정식 버전이 Hy4 flash와 같지 않다는 거예요. flash는 별도의 제품 라인이에요. 이 글에서 다루는 하드웨어와 비용은 정식 버전에만 해당하며, flash에는 적용되지 않아요.

2. Hy4를 직접 배포하려면 GPU가 몇 장 필요할까
2.1 SGLang과 vLLM 예시 구성 비교
두 주류 추론 프레임워크 모두 Hy4 배포 예시를 제공해요. 나란히 정리하면 다음과 같아요.
| 프레임워크 | 가중치 | 병렬 방식 | 예시 GPU | 예시 설명 |
|---|---|---|---|---|
| SGLang | FP8 | TP4 | 4×B300 또는 4×GB300 | KV 풀 크기가 실제로 사용 가능한 컨텍스트 용량을 결정해요 |
| SGLang | FP8 | TP8 | 8×H200 또는 8×B200 | 위와 같아요 |
| vLLM | FP8(기본값) | TP8 | 8×B300 | 예시 컨텍스트 윈도우는 131,072이고, 단일 이미지만 지원하며 비디오는 꺼져 있어요 |
이 표를 읽을 때 세 가지를 꼭 짚어야 해요.
- 예시 구성이지 최소 구성이 아니에요. SGLang 문서는 KV 풀이 실제로 수용할 수 있는 컨텍스트를 제한한다고 밝히고 있고, 이 구성들이 어떤 파라미터 조합에서든 최소 요건이라는 뜻은 아니에요.
- 1M을 꽉 채운다고 보장할 수 없어요. 모델 카드에 선언된 최대 컨텍스트는 1,048,576 토큰이지만, 실제 서비스 구성에서 쓸 수 있는 길이는 따로 계산해야 해요. vLLM 예시는 131,072까지만 열어 두었고, 두 문서 모두 1M 전부를 쓸 수 있다고 약속하지 않아요.
- 두 회사의 숫자를 서로 대입할 수 없어요. vLLM 문서가 제시한 참고 VRAM은 vLLM의 이 구성에만 해당해요.
2.2 770B, 49B와 VRAM의 관계
Hy4를 이야기할 때 자주 등장하는 숫자가 두 개 있어요. 770B는 언어 백본의 전체 파라미터 수이고, 49B는 토큰 하나당 활성화되는 텍스트 파라미터 수예요. 많은 분이 49B를 VRAM 요구량으로 잘못 읽는데, 그건 틀린 해석이에요. 49B가 결정하는 건 토큰당 연산량이에요. 어떤 전문가든 언제든 호출하려면 770B 파라미터 전체가 VRAM에 올라와 있어야 하죠.
VRAM 요구량은 세 층으로 나눠서 봐야 해요.
- 가중치 파일 크기: vLLM 문서 기준으로 FP8은 약 786 GB, BF16은 약 1,549 GB예요. 이건 우선 디스크와 로딩 대역폭의 문제예요.
- 런타임 VRAM: vLLM 예시의 참고 VRAM은 FP8 약 944 GB, BF16 약 1,859 GB로 파일 크기보다 커요. 런타임 오버헤드와 KV cache 예약분까지 포함되기 때문이죠.
- KV cache와 동시성: 컨텍스트가 길수록, 동시에 서비스하는 요청이 많을수록 KV cache 점유가 커져요. 이 부분이 같은 하드웨어로 “모델을 올리는 것” 이후에 얼마만큼의 트래픽을 더 감당할 수 있는지를 결정해요.
배포 전에는 아래 체크리스트로 점검해 보세요.
- [ ] 사용 가능한 GPU의 모델, 수량, 카드당 VRAM으로 TP4 또는 TP8을 구성할 수 있는지
- [ ] 카드 간 인터커넥트가 텐서 병렬의 통신 요구사항을 충족하는지
- [ ] 로컬 스토리지가 약 786 GB(FP8) 또는 약 1,549 GB(BF16)의 가중치를 담을 수 있는지, 로딩 속도는 어떤지
- [ ] 목표 컨텍스트 길이: 131K면 충분한지, 아니면 더 길어야 하는지
- [ ] 피크 동시 요청 수, 그리고 그 동시성에서 KV 풀이 충분한지
- [ ] 비전 입력이 필요한지 (vLLM 예시는 단일 이미지만 켜 두었어요)
- [ ] 선택한 추론 프레임워크 버전이 공식 cookbook이나 recipe와 일치하는지

3. 동일한 배치 작업으로 Hy4 비용 계산하기
3.1 API 종량제 과금 계산 방식
APIYI의 모델 페이지를 예로 들어볼게요. 2026년 11월 21일 기준으로 Hy4 정식 버전의 모델 ID는 hy4이고, Default와 SVIP 두 개 그룹을 제공하며 Chat Completions 인터페이스를 사용해요. 가격은 100만 토큰당으로 책정되는데, 캐시 미적용 입력 $0.85, 출력 $2.55, 캐시 읽기 $0.045이고, 실제 청구 금액은 콘솔을 기준으로 해요. 참고로 APIYI에 Hy4가 등록된 시점은 이번 가중치 공개보다 앞서요. 공지에서는 비전 지원을 언급했지만, 아래 계산 예시는 텍스트만 가정해 계산한 것이라 모델 카드에 적힌 1M 컨텍스트, 비디오, Computer Use 능력을 호스팅 서비스의 실측 성능과 동일시하지는 않아요.
과금할 때 세 가지 토큰은 각각 따로 계산되고 서로 중복되지 않아요. 같은 입력 토큰은 캐시 미적용 입력으로 계산되거나 캐시 읽기로 계산될 뿐, 양쪽에서 모두 청구되지는 않아요. 아래는 가정에 기반한 계산 예시이며 실측값은 아니에요:
| 항목 | 가정 사용량 | 단가(100만 토큰당) | 비용 |
|---|---|---|---|
| 캐시 미적용 입력 | 1,000만 토큰 | $0.85 | $8.50 |
| 출력 | 300만 토큰 | $2.55 | $7.65 |
| 캐시 읽기 | 0 | $0.045 | $0 |
| 합계 | — | — | $16.15 |
이 배치 호출 중 9,000건의 결과가 여러분의 검수를 통과했다고 가정하면, 적격 작업당 비용은 약 $16.15 ÷ 9,000 ≈ $0.00179예요. “호출당 비용”이 아니라 “적격 작업당 비용”으로 측정하는 걸 권장하는데, 실패로 인한 재시도와 재작업 비용도 모두 포함해야 하기 때문이에요. 이 숫자는 실제로 관측된 지연 시간, 감당 가능한 동시성과 함께 기록해야 해요. 그래야만 자체 배포 방식과 비교할 수 있어요.
3.2 자체 배포의 실제 비용 구성
자체 배포 비용은 GPU 자체만으로 끝나지 않아요. 아래 표는 반드시 포함해야 할 항목들이에요:
| 비용 항목 | 내용 |
|---|---|
| 컴퓨팅 노드 | 4카드 또는 8카드 고성능 GPU 노드의 구매 또는 임대 비용 |
| 스토리지 및 네트워크 | 거의 TB급에 달하는 가중치 저장, 로딩 대역폭, 카드 간 및 노드 간 인터커넥트 |
| 운영 | 추론 프레임워크 업그레이드, 모니터링 및 알림, 장애 처리에 필요한 인력 |
| 리던던시 | 가용성 보장을 위해 준비한 예비 노드로, 평소에는 유휴 상태일 수 있음 |
| 가동률 | 트래픽 저조기 유휴 비용으로, 작업당 단가를 직접 끌어올림 |
두 방식을 비교할 때는 동일한 품질과 동일한 지연 시간을 전제로 해야 해요. 같은 배치 작업, 같은 검수 기준, 비슷한 지연 시간과 동시성 목표에서 각각 적격 작업당 비용을 계산하는 거예요. 하드웨어 가격, 가동률, 인력 비용은 팀마다 차이가 커서 이 글에서는 통일된 “손익분기점”을 제시하지 않아요. 여러분의 견적과 트래픽 곡선으로 직접 계산해야 해요.

4. Hy4 배포 결정: API, 자체 배포, 아니면 더 작은 모델로 교체
앞 세 절의 결론을 종합하면 조건에 따라 세 가지 경로로 나눌 수 있어요:
- 규정 준수가 허용되고 + 먼저 순수 텍스트 작업을 시험한다 → API 사용. 하드웨어를 준비할 필요 없이, 실제 작업으로 먼저 합격한 작업당 비용과 지연을 계산해 이후 결정의 기준선으로 삼아요.
- 강한 데이터 격리가 필요하거나, 추론 설정을 직접 제어해야 한다 → 하드웨어를 점검한 뒤 자체 배포로 검증. 먼저 2.2절의 체크리스트를 기준으로 리소스를 점검하고, SGLang 또는 vLLM의 예시 설정으로 구동한 다음, API와 동일한 작업 세트로 품질, 지연, 비용을 비교해요. 외부에 서비스를 제공하기 전에 법무팀에 라이선스 제10조를 먼저 검토받아야 해요.
- 리소스가 예시 규모에 미치지 못한다 → 더 작은 모델을 재평가. 고성능 GPU 4장이나 8장을 갖추지 못할 때, 컨텍스트나 동시성을 억지로 압축하면 품질과 지연 목표를 달성하지 못할 가능성이 커요. 더 작은 모델로 바꾸는 편이 대개 더 현실적이에요.
실행 카드
- 가중치를 선택하세요: 추론 배포에는
Hy4-FP8, 추가 학습이 필요하면Hy4-base를 사용하고, flash가 아닌지 확인하세요. - 실제 작업 200~500건을 준비하고 검수 기준을 작성하세요.
- 데이터 외부 전송이 허용된다면 먼저 API로 한 번 돌려보세요. 그렇지 않다면 공개 또는 합성 샘플로 먼저 테스트하고 실제 데이터는 내부 환경에 남겨두세요. 토큰 사용량, 합격률, 지연, 동시성 성능을 기록하세요.
- 자체 배포가 필요하다면 체크리스트에 따라 하드웨어를 점검하고, 같은 작업 배치로 재측정하세요.
- “합격한 작업당 비용 + 지연”이라는 하나의 기준으로 최종 결정을 내리세요.
참고 자료
- Tencent Hy4 공식 출시 공지: https://www.tencent.com/tencent-launches-hy4-joining-the-ranks-of-the-worlds-leading-open-source-ai-models/
- Hy4 Instruct(BF16) 가중치: https://huggingface.co/tencent/Hy4
- Hy4 Instruct(FP8) 가중치: https://huggingface.co/tencent/Hy4-FP8
- Hy4 Base 가중치: https://huggingface.co/tencent/Hy4-base
- Tencent Hy License 1.0: https://huggingface.co/tencent/Hy4/blob/main/LICENSE
- Hy4 Preview(Apache 2.0): https://huggingface.co/tencent/Hy4-preview
- SGLang Hy4 Cookbook: https://docs.sglang.io/cookbook/autoregressive/Tencent/Hy4
- vLLM Hy4 Recipe: https://recipes.vllm.ai/tencent/Hy4
- APIYI Hy4 출시 안내: https://docs.apiyi.com/news/hy4-launch
- APIYI 모델 목록(Tencent): https://docs.apiyi.com/models#腾讯
- Hy4 배경 개요(과거 스냅샷, 가중치 및 상장 정보는 본문 기준): https://help.apiyi.com/tencent-hy4-770b-vision-computer-use-pricing.html
