Plotly가 여전히 Hydrogen을 추천하는 이유는, 이번 점수 조정으로 Gemini 4 Neon이 Hydrogen과 동점을 이뤘을 뿐 앞서지는 못했기 때문이에요. 같은 라운드 평가에서 둘 다 만점을 받았지만, Hydrogen의 전체 비용은 Neon의 약 3분의 1 수준이고 문항당 중위 처리 시간도 더 짧았어요. 점수가 같아지면 비교 기준은 자연스럽게 비용과 속도로 옮겨가는데, Hydrogen이 이 두 항목에서 모두 우위를 보여요.
한 가지 더 짚어둘게요. 이번 일은 제3자 평가 기관인 Plotly가 채점 규칙을 수정한 것이지, Google이 모델을 업그레이드한 게 아니에요.
이 글을 읽고 나면 무엇을 알 수 있을까요?
- Plotly가 11월 19일에 Gemini 4 Neon의 점수를 42/43에서 43/43으로 바꾼 이유
- 같은 라운드 평가에서 Neon, Hydrogen, Carbon의 점수와 전체 비용, 문항당 처리 시간
- 어떤 결론이 데이터 분석 작업의 모델 선택에 바로 활용될 수 있고, 어떤 결론은 그렇지 않은지
글의 구성: 글은 먼저 표 하나로 몇 가지 핵심 개념을 설명한 뒤, 독자 유형별로 미치는 영향을 간단히 정리해요. 본문의 ‘객관적 사실’ 부분에서는 원래 평가, 정정 내용, 같은 라운드의 성적을 차례로 설명하고, ‘분석 및 판단’ 부분에서는 Hydrogen이 앞서는 이유와 이 순위표가 모델 선택에서 적용될 수 있는 범위를 짚어요.

Gemini 4 Neon 채점 정정 뉴스 프리뷰: 먼저 알아야 할 개념 정리
| 개념 | 간단한 설명 |
|---|---|
| Plotly | 데이터 시각화·분석 도구 회사로, 이번 평가의 제3자 주최자예요. 모델 제조사는 아닙니다 |
| DataAnalyticsBench | Plotly가 내놓은 데이터 분석 평가로, 문제 세트는 비공개 세트이며 합성 풍력 데이터를 기반으로 해요 |
| Plotly Studio Embedded | 이번 평가에 사용된 에이전트(Agent) 테스트 환경이에요. 모든 모델이 이 환경에서 답안을 작성합니다 |
| 채점 규칙(Rubric) | 답안의 정오를 판단하는 기준이에요. 이번 정정으로 수정된 것은 그중 한 문제의 규칙입니다 |
| 합성 데이터 | 인공적으로 생성한 모의 데이터로, 통제 가능한 문제를 만들 때 사용해요 |
| 단일 샘플 | 각 모델이 한 번만 끝까지 실행되며, 여러 번 반복해 평균을 내지 않아요 |
| 단일 문제 중앙값 소요 시간 | 모든 문제 소요 시간의 중앙값이에요. 이번 산정 기준에는 조회 시간이 포함됩니다 |
| OpenRouter 가격 | 이번 전체 비용의 산정 근거로, 각 모델이 실행된 당일의 OpenRouter 가격을 기준으로 계산해요 |
Gemini 4 Neon 만점이 대상별로 미치는 영향 한눈에 보기
| 대상 | 영향 |
|---|---|
| 데이터 분석 작업에 Google 모델을 고르는 개발자 | Neon과 Hydrogen의 정확도가 동률이에요. 더 저렴하고 빠른 Hydrogen이 여전히 우선 선택지입니다 |
| 이미 Neon을 선택한 팀 | 채점 정정은 Neon의 분석 능력이 기존 규칙에서 과소평가됐음을 보여줘요. 다만 비용과 소요 시간은 달라지지 않았습니다 |
| 평가 방법에 관심 있는 연구자 | 문제 규칙이 실제 문제를 잘못 판정한 뒤 수정된 사례예요. 비공개 문제 세트도 재검증이 필요하다는 걸 보여줍니다 |
| 일반 사용자 | 모델 자체는 변하지 않았어요. 이번 변화는 평가 주체의 채점 규칙에서 비롯된 것입니다 |
Gemini 4 Neon 벤치마크 점수 정정: 객관적 사실
Plotly 원본 평가: Gemini 4 Neon 첫 보고 42/43
Plotly의 원본 평가 글은 2026-11-18 날짜로 표기되어 있고, 당시 공개된 Gemini 4 Neon의 점수는 42/43이었어요. Gemini 4 Neon의 출시 정보는 Google 공식 블로그에서 나왔고, 평가는 Plotly가 제3자 독립 기관으로서 진행했어요.
테스트는 Plotly Studio Embedded 에이전트 환경에서 진행되었고, 문제 세트는 비공개 세트로, 합성 풍력 발전 데이터를 기반으로 구성했어요. 문제 유형은 다음 몇 가지를 포괄해요:
- 일반 데이터 분석
- 모호한 요청
- 답변할 수 없는 요청
- 데이터 품질
- 통계적 함정
- 숨겨진 패턴
11월 19일 정정: Gemini 4 Neon, 42점에서 만점으로
Plotly는 원문에 정정 문단을 추가했는데, 날짜는 11월 19일로 표기했을 뿐 구체적인 시각과 시간대는 밝히지 않았어요.
문제는 데이터 품질 문항 하나에서 비롯됐어요. 기존 채점 규칙이 합성 데이터에 실제로 존재하는 두 가지 문제를 무관한 항목으로 처리한 탓에, 모델이 답변에서 이 두 문제를 지적하면 오히려 오답으로 판정됐어요. 즉, 모델은 맞게 답했는데 규칙이 틀리게 채점한 셈이죠.
Plotly의 처리 방식은 다음과 같아요.
- 이 문항의 채점 규칙을 수정한다;
- 이전에 이 문항을 통과하지 못한 모델을 다시 채점한다;
- 이로 인해 발생한 모든 점수 변경을 사람이 검토한다;
- Neon의 43개 답변 전체를 하나하나 사람이 검증한다.
정정 후 Neon은 43/43이 됐어요. Carbon은 42/43으로 점수 변화가 없어요.

| 항목 | 정정 전 | 정정 후 |
|---|---|---|
| Gemini 4 Neon 점수 | 42/43 | 43/43 |
| Carbon 점수 | 42/43 | 42/43(변동 없음) |
| 변화 원인 | — | 데이터 품질 문항 하나의 채점 규칙이 수정됨 |
| 모델 자체 | 변동 없음 | 변동 없음, Google의 모델 업그레이드가 아님 |
| 정정 날짜 | 원문 표기 2026-11-18 | 정정 문단 표기 11월 19일, 시각·시간대 미표기 |
동일 회차 평가 성적: Neon, Hydrogen, Carbon
아래 데이터는 모두 Plotly의 동일 회차, 동일 테스트 환경에서 나온 것이에요. GPT-6.1 Sol은 타사 참조용으로만 나열했으며, Plotly가 Google 모델에 대해 권장하는 범위에는 포함되지 않아요.
| 모델 | 점수 | 전체 비용 | 문항당 중위 소요 시간 |
|---|---|---|---|
| Gemini 4 Neon | 43/43 | $17.03 | 46초 |
| Hydrogen | 43/43 | $6.36 | 32초 |
| Carbon | 42/43 | $11.55 | 93초 |
| GPT-6.1 Sol(참조) | 43/43 | $2.61 | 18초 |
이 표를 해석할 때는 다음 기준에 유의해야 해요:
- 전체 비용은 각 모델을 실행한 당일의 OpenRouter 가격을 기준으로 계산한 것으로, Google 공식 단가나 다른 플랫폼의 표시 가격과는 같지 않아요.
- 문항당 중위 소요 시간에는 조회 시간이 포함되며, 순수한 모델 생성 시간이 아니에요.
- 단일 샘플: Plotly는 각 모델을 한 번만 실행했다고 밝혔어요. 이전 반복 테스트에서 다른 모델의 점수는 최대 세 문항까지 변동한 적이 있어요.

정보 출처
- Plotly 원본 평가 및 정정: plotly.com/blog/gemini-4-neon-plotly-data-analytics-bench/
- Plotly 전체 동일 벤치마크 및 방법론: plotly.com/blog/introducing-dataanalyticsbench/
- Google 제품 발표: blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-neon/
Plotly가 여전히 Hydrogen을 추천하는 이유: 분석적 판단
만점은 동점에 불과, 선택은 비용과 속도로
점수가 수정된 뒤로 Neon과 Hydrogen은 정확도만으로는 구분할 수 없게 됐어요. 같은 회차 데이터로 계산해 보면 Neon의 전체 비용은 Hydrogen의 약 2.7배, 문항당 중앙값 소요 시간은 약 1.4배입니다. 정확도가 같다면 더 저렴하고 더 빠른 쪽이 당연히 유리하므로, Plotly의 추천 결론은 이번 점수 수정으로 달라질 필요가 없습니다.
Carbon은 상황이 더 분명해요. 점수는 한 문항 적은데 비용은 Hydrogen보다 높고, 문항당 소요 시간은 Hydrogen의 세 배에 가깝습니다. 이 비교에서는 뚜렷한 장점이 없어요.
점수 수정이 말해 주는 것: Neon의 데이터 품질 판단이 과소평가됐다
이번 정정은 Neon에게 긍정적인 정보예요. 기존 규칙이 잘못 판정한 것이 바로 데이터 품질 문항이었고, Neon이 오답 처리된 이유는 데이터에 실제로 존재하는 문제를 지적했기 때문입니다. 더티 데이터나 이상값을 찾아내야 하는 분석 과제에서 이는 Neon이 그만한 식별 능력을 갖추고 있음을 보여줘요.
다만 점수 수정은 정확도 항목에만 영향을 줬고, Neon의 비용과 속도는 이 때문에 달라지지 않았습니다. Plotly가 Neon의 43개 답변을 하나하나 사람이 검증했기 때문에 이 만점은 자동 채점보다 신뢰할 만하지만, 비용상의 위치를 바꾸지는 않았어요.
어떤 결론을 선택에 쓸 수 있고, 어떤 결론은 못 쓰는가
| 결론 | 선택에 바로 활용 가능 여부 | 이유 |
|---|---|---|
| Google 모델 중에서는 데이터 분석 과제에 Hydrogen을 우선 고려 | 가능하지만 상황을 한정해야 함 | Plotly의 추천은 자사 테스트와 Google 모델 선택 범위 안으로 제한됨 |
| Neon과 Hydrogen의 정확도는 비슷함 | 신중하게 적용 | 단일 표본 테스트이며, 다른 모델을 반복 테스트했을 때 점수가 최대 세 문항까지 흔들린 적이 있음 |
| Neon 비용은 Hydrogen의 약 2.7배 | 상대적 참고로 활용 가능 | 실행 당일 OpenRouter 가격 기준으로 계산했으며, 실제 단가는 다를 수 있음 |
| Hydrogen이 Neon보다 빠름 | 상대적 참고로 활용 가능 | 소요 시간에 쿼리 시간이 포함되며 테스트 환경의 영향을 받음 |
| Hydrogen이 모든 모델 중 데이터 분석에 가장 뛰어남 | 불가 | 같은 회차의 타사 참조 모델 GPT-6.1 Sol이 더 저렴하고 더 빠름 |
| Neon은 한 차원 업그레이드된 모델 | 불가 | 이는 채점 수정이며 모델 자체는 변하지 않음 |
앞으로 주목할 만한 점
짚고 넘어가야 할 것은, 아래 내용이 이미 발생한 사실이 아니라 예측과 관찰 방향이라는 점이에요.
- Plotly가 이후 여러 회차를 반복한 테스트 결과를 공개한다면, Neon과 Hydrogen 사이의 한 문항 이내 차이는 순위가 다시 뒤바뀔 수 있어요. 그때가 돼야 정확도를 더 안정적으로 비교할 수 있습니다.
- 비용 순위는 가격에 달려 있어요. 각 모델의 가격이 조정되면 같은 문항 수로 다시 계산한 비용 순위도 함께 달라질 수 있습니다.
- 비공개 문제 세트에서도 규칙 오판은 생겨요. 이번 정정은 독자들에게 평가를 읽을 때 총점만 보지 말고, 평가 주체가 정정과 수동 검수 과정을 공개했는지도 함께 보라고 알려 줍니다.
데이터 분석 과제에 쓸 모델을 고민 중인 독자에게 이번 소식의 실제 의미는 이렇습니다. Neon은 더 이상 채점 규칙에 과소평가되지 않지만, Plotly의 이번 테스트에서 Google 모델 중에서는 여전히 Hydrogen이 더 저렴하고 더 빠릅니다.
Gemini 4 Neon의 만점은 채점 오류 하나를 바로잡은 것이고, Hydrogen 추천은 가성비를 고려한 판단이에요. 두 가지는 서로 모순되지 않습니다. 영어 속담처럼요. “Price is what you pay; value is what you get.” (가격은 당신이 지불하는 것이고, 가치는 당신이 얻는 것이다.)
