|

Gemini 4 Neon 數據分析跑分改成滿分,爲什麼 Plotly 還是推薦 Hydrogen?

Gemini 4 Neon 數據分析跑分改成滿分,爲什麼 Plotly 還是推薦 Hydrogen?

Plotly 仍然推薦 Hydrogen,原因是這次改分只讓 Gemini 4 Neon 追平了 Hydrogen,並沒有超過它。 在同一輪評測中,兩者都拿到滿分,但 Hydrogen 的整套費用約爲 Neon 的三分之一,單題中位耗時也更短。分數打平以後,比較就落在成本和速度上,Hydrogen 在這兩項都佔優。

還要說明一點:這次是第三方評測方 Plotly 修訂了評分規則,不是 Google 升級了模型。

您讀完此文能瞭解到什麼?

  • Plotly 爲什麼在 11 月 19 日把 Gemini 4 Neon 的分數從 42/43 改爲 43/43。
  • 同一輪評測中 Neon、Hydrogen、Carbon 的分數、整套費用和單題耗時。
  • 哪些結論能直接用於數據分析任務的模型選型,哪些不能。

索引: 文章先用一張表解釋幾個關鍵概念,再按人羣簡述影響。正文的「客觀事實」部分依次交代原評測、更正內容和同輪成績,「分析判斷」部分說明 Hydrogen 勝出的原因,以及這份榜單在選型中的適用邊界。

gemini-4-neon-plotly-data-analytics-bench-perfect-score-hydrogen-zh-hant-image-0


Gemini 4 Neon 改分新聞前導:To Know 概念解釋

概念 簡要解釋
Plotly 數據可視化與分析工具公司,是本次評測的第三方組織者,不是模型廠商
DataAnalyticsBench Plotly 推出的數據分析評測,題集爲私有題集,基於合成風電數據
Plotly Studio Embedded 本次評測使用的代理(Agent)測試環境,所有模型都在這個環境中作答
評分規則(Rubric) 判斷答案對錯的標準,這次更正修改的就是其中一道題的規則
合成數據 人工生成的模擬數據,用於構造可控的題目
單樣本 每個模型只完整跑一輪,沒有多次重複取平均
單題中位耗時 所有題目耗時的中位數,本次口徑包含查詢時間
OpenRouter 定價 本次整套費用的計價依據,按各模型運行當日的 OpenRouter 價格計算

Gemini 4 Neon 滿分對不同人羣的影響速覽

人羣 影響
給數據分析任務選 Google 模型的開發者 Neon 與 Hydrogen 準確率打平,更省更快的 Hydrogen 仍是優先選項
已選用 Neon 的團隊 改分說明 Neon 的分析能力被原規則低估了,但它的費用和耗時並沒有變化
關注評測方法的研究者 這是一個題目規則誤判真實問題、隨後被修正的案例,說明私有題集同樣需要複覈
普通用戶 模型本身沒有變化,這次變化來自評測方的評分規則

Gemini 4 Neon 跑分更正:客觀事實

Plotly 原評測:Gemini 4 Neon 首報 42/43

Plotly 的原始評測文章標註日期爲 2026-11-18,當時公佈的 Gemini 4 Neon 成績是 42/43。Gemini 4 Neon 的發佈信息來自 Google 官方博客,評測則由 Plotly 作爲第三方獨立組織。

測試在 Plotly Studio Embedded 代理環境中進行,題集爲私有題集,基於合成風電數據構建。題型覆蓋以下幾類:

  • 常規數據分析
  • 含糊請求
  • 無法回答的請求
  • 數據質量
  • 統計陷阱
  • 隱藏模式

11 月 19 日更正:Gemini 4 Neon 由 42 改爲滿分

Plotly 在原文中補充了一段更正,標註日期爲 11 月 19 日,沒有註明具體時刻和時區。

問題出在一道數據質量題上。原評分規則把合成數據中兩個真實存在的問題當成了無關項,結果模型如果在答案裏指出這兩個問題,反而會被判錯。也就是說,模型答對了,規則卻判了錯。

Plotly 的處理方式如下:

  1. 修訂這道題的評分規則;
  2. 對此前沒有通過該題的模型重新評分;
  3. 人工檢查所有因此發生的分數變更;
  4. 逐一人工覈驗 Neon 的全部 43 道答案。

更正後,Neon 改爲 43/43。Carbon 仍爲 42/43,分數沒有變化。

gemini-4-neon-plotly-data-analytics-bench-perfect-score-hydrogen-zh-hant-image-1

項目 更正前 更正後
Gemini 4 Neon 得分 42/43 43/43
Carbon 得分 42/43 42/43(未變)
變化原因 — 一道數據質量題的評分規則被修訂
模型本身 未變 未變,不是 Google 的模型升級
更正日期 原文標註 2026-11-18 更正段落標註 11 月 19 日,未標時刻、時區

同一輪評測成績:Neon、Hydrogen 與 Carbon

以下數據都來自 Plotly 同一輪、同一測試環境。GPT-6.1 Sol 只作爲跨廠商參照列出,不在 Plotly 對 Google 模型的推薦範圍內。

模型 得分 整套費用 單題中位耗時
Gemini 4 Neon 43/43 $17.03 46 秒
Hydrogen 43/43 $6.36 32 秒
Carbon 42/43 $11.55 93 秒
GPT-6.1 Sol(參照) 43/43 $2.61 18 秒

解讀這張表時需要注意以下口徑:

  • 整套費用按各模型運行當日的 OpenRouter 定價計算,不等同於 Google 官方單價或其他平臺的標價。
  • 單題中位耗時包含查詢時間,並非純粹的模型生成時間。
  • 單樣本:Plotly 說明每個模型只跑一輪。在此前的重複測試中,其他模型的分數最多曾波動三題。

gemini-4-neon-plotly-data-analytics-bench-perfect-score-hydrogen-zh-hant-image-2

信息來源

  • Plotly 原始評測與更正: plotly.com/blog/gemini-4-neon-plotly-data-analytics-bench/
  • Plotly 完整同榜與方法: plotly.com/blog/introducing-dataanalyticsbench/
  • Google 產品發佈: blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-neon/

爲什麼 Plotly 還是推薦 Hydrogen:分析判斷

滿分只是追平,選型要看成本和速度

改分以後,Neon 和 Hydrogen 在準確率上已經無法區分。按同輪數據計算,Neon 的整套費用約爲 Hydrogen 的 2.7 倍,單題中位耗時約爲 1.4 倍。準確率相同時,更便宜、更快的一方自然更划算,所以 Plotly 的推薦結論不需要隨這次改分調整。

Carbon 的情況更直觀。它的分數少一題,費用高於 Hydrogen,單題耗時接近 Hydrogen 的三倍,在這組比較中沒有明顯優勢。

改分說明了什麼:Neon 的數據質量判斷被低估

這次更正對 Neon 是正面信息。原規則誤判的恰好是數據質量題,而 Neon 被判錯的原因是它指出了數據中真實存在的問題。對於需要發現髒數據、異常值的分析任務,這說明 Neon 具備相應的識別能力。

不過,改分隻影響準確率這一項,Neon 的費用和速度沒有因此變化。Plotly 逐一人工覈驗了 Neon 的全部 43 道答案,讓這個滿分比自動評分更可信,但並沒有改變它在成本上的位置。

哪些結論能用於選型,哪些不能

結論 是否可直接用於選型 原因
在 Google 模型中,數據分析任務優先考慮 Hydrogen 可以,但需限定場景 Plotly 的推薦限定在其測試和 Google 模型選擇範圍內
Neon 與 Hydrogen 準確率相當 謹慎採用 單樣本測試,其他模型重複測試時分數曾波動最多三題
Neon 的費用約爲 Hydrogen 的 2.7 倍 可作相對參考 按運行當日 OpenRouter 定價計算,實際單價可能不同
Hydrogen 比 Neon 快 可作相對參考 耗時包含查詢時間,受測試環境影響
Hydrogen 是所有模型中數據分析最佳的 不能 同輪的跨廠商參照 GPT-6.1 Sol 更便宜、更快
Neon 是一次模型升級 不能 這是評分修訂,模型本身沒有變化

後續值得關注的幾點

需要說明的是,以下是預測與觀察方向,並非已發生的事實:

  • 如果 Plotly 後續發佈多輪重複測試的結果,Neon 和 Hydrogen 之間一題以內的差距可能會重新排列,到那時才能更穩地比較準確率。
  • 費用排序取決於定價。如果各模型的價格發生調整,按同樣題量重新計算的成本排序也可能隨之變化。
  • 私有題集也會出現規則誤判。這次更正提醒讀者,讀評測時除了看總分,也要看評測方是否公開了更正和人工複覈的過程。

對於正在給數據分析任務選模型的讀者,這次新聞的實際意義在於:Neon 不再被評分規則低估,但在 Plotly 這份測試裏,Hydrogen 在 Google 模型中仍然更省錢、更快。

Gemini 4 Neon 的滿分修正了一個評分錯誤,Hydrogen 的推薦則出於性價比的考慮,兩件事並不矛盾。正如英文諺語所說:”Price is what you pay; value is what you get.”(價格是你付出的,價值是你得到的。)

Similar Posts