|

Gemini 4 Neonのデータ分析ベンチマークを満点に変更したのに、なぜPlotlyは依然としてHydrogenを推奨するのか?

Gemini 4 Neonのデータ分析ベンチマークを満点に変更したのに、なぜPlotlyは依然としてHydrogenを推奨するのか?

Plotly が依然として Hydrogen を推奨しているのは、今回の採点変更によって Gemini 4 Neon が Hydrogen に追いついただけで、追い抜いてはいないからです。 同一ラウンドの評価では両者とも満点を獲得しましたが、Hydrogen のトータルコストは Neon の約3分の1で、1問あたりの所要時間の中央値もより短くなっています。スコアが並んだことで比較の焦点はコストとスピードに移り、Hydrogen はこの2項目の双方で優位に立っています。

もう1点付け加えておきたいのは、今回はサードパーティの評価元である Plotly が採点ルールを改訂したのであって、Google がモデルをアップグレードしたわけではないという点です。

この記事を読むと何がわかるか

  • Plotly が 11 月 19 日に Gemini 4 Neon のスコアを 42/43 から 43/43 に変更した理由
  • 同一ラウンドの評価における Neon、Hydrogen、Carbon のスコア、トータルコスト、1問あたりの所要時間
  • どの結論がデータ分析タスクのモデル選定に直接活用でき、どれができないか

索引: 記事ではまず1つの表でいくつかの重要な概念を解説し、続いてユーザー層別に影響を簡潔に述べます。本文の「客観的事実」パートでは、元の評価、訂正内容、同一ラウンドの成績を順に説明し、「分析判断」パートでは Hydrogen が勝ち出た理由と、このランキングがモデル選定において持つ適用範囲を説明します。

gemini-4-neon-plotly-data-analytics-bench-perfect-score-hydrogen-ja-image-0


Gemini 4 Neon 採点変更ニュース前編:知っておきたい概念の解説

概念 簡単な説明
Plotly データ可視化・分析ツールを手がける企業。今回の評価を主催した第三者機関であり、モデルベンダーではありません
DataAnalyticsBench Plotly が提供するデータ分析評価。問題セットは非公開の私有セットで、合成風力発電データに基づいています
Plotly Studio Embedded 今回の評価で使用したエージェント(Agent)テスト環境。すべてのモデルがこの環境で回答します
採点ルール(Rubric) 回答の正誤を判定する基準。今回の訂正で修正されたのは、そのうちの1問のルールです
合成データ 人為的に生成した模擬データ。制御可能な問題を構成するために使います
単一サンプル 各モデルが完全に1ラウンドだけ実行する方式で、複数回の繰り返しによる平均は取りません
1問あたりの中央値所要時間 全問題の所要時間の中央値。今回の定義にはクエリ時間が含まれます
OpenRouter 料金 今回の一式の費用を算定する根拠。各モデルの実行当日の OpenRouter 価格で計算します

Gemini 4 Neon の満点が異なる人々に与える影響の早見表

対象者 影響
データ分析タスク用に Google モデルを選ぶ開発者 Neon と Hydrogen の精度は互角。より安価で高速な Hydrogen が依然として優先選択肢です
すでに Neon を採用しているチーム 採点変更は Neon の分析能力が元のルールで過小評価されていたことを示しますが、費用と所要時間に変化はありません
評価手法に関心を持つ研究者 問題のルールが実際の問題を誤判定し、その後修正された事例。非公開の問題セットにも再検証が必要であることを示しています
一般ユーザー モデル自体は変化しておらず、今回の変化は評価側の採点ルールによるものです

Gemini 4 Neon ベンチマークスコア訂正:客観的事実

Plotly の元ベンチマーク:Gemini 4 Neon の初回報告は 42/43

Plotly の元のベンチマーク記事は 2026-11-18 付で、当時公表された Gemini 4 Neon のスコアは 42/43 でした。Gemini 4 Neon のリリース情報は Google 公式ブログに由来し、ベンチマークは第三者組織である Plotly が独立して実施しました。

テストは Plotly Studio Embedded エージェント環境で行われ、問題セットは合成風力発電データに基づいて構築された非公開の問題セットです。問題の種類は次のとおりです。

  • 通常のデータ分析
  • あいまいなリクエスト
  • 回答できないリクエスト
  • データ品質
  • 統計上の落とし穴
  • 隠れたパターン

11月19日の訂正:Gemini 4 Neon が42点から満点に変更

Plotly は原文に、11月19日付と明記した訂正を追記しました。具体的な時刻やタイムゾーンの記載はありません。

問題は、あるデータ品質に関する設問にありました。元の採点ルールでは、合成データに実際に存在する2つの問題を「無関係な項目」とみなしていました。そのため、モデルが回答の中でこの2つの問題を指摘すると、かえって不正解と判定されてしまう仕組みになっていました。つまり、モデルは正しく答えているのに、ルール側が誤りと判定していたのです。

Plotly の対応は次のとおりです。

  1. この設問の採点ルールを改訂する
  2. これまでにこの設問を通過できなかったモデルを再採点する
  3. それによって生じたすべてのスコア変更を人により確認する
  4. Neon の全43問の回答を1つずつ人により検証する

訂正の結果、Neon は 43/43 に変更されました。Carbon は 42/43 のままで、スコアに変化はありません。

gemini-4-neon-plotly-data-analytics-bench-perfect-score-hydrogen-ja-image-1

項目 訂正前 訂正後
Gemini 4 Neon のスコア 42/43 43/43
Carbon のスコア 42/43 42/43(変更なし)
変更の理由 — データ品質設問1問の採点ルールが改訂された
モデル自体 変更なし 変更なし。Google によるモデルのアップグレードではない
訂正日 原文の表記は 2026-11-18 訂正段落の表記は11月19日。時刻・タイムゾーンの記載なし

同一ラウンドの評価結果:Neon、Hydrogen、Carbon

以下のデータはすべて、Plotly が同一ラウンド・同一テスト環境で取得したものです。GPT-6.1 Sol は他社製モデルとの比較参照としてのみ掲載しており、Plotly の Google モデル推奨範囲には含まれていません。

モデル スコア セット全体の費用 1問あたりの中央値所要時間
Gemini 4 Neon 43/43 $17.03 46 秒
Hydrogen 43/43 $6.36 32 秒
Carbon 42/43 $11.55 93 秒
GPT-6.1 Sol(参照) 43/43 $2.61 18 秒

この表を読み取る際は、次の前提に注意してください。

  • セット全体の費用は、各モデルの実行当日の OpenRouter 料金に基づいて算出したものであり、Google 公式の単価や他プラットフォームの表示価格とは異なります。
  • 1問あたりの中央値所要時間にはクエリ時間が含まれており、純粋なモデル生成時間ではありません。
  • 単一サンプル:Plotly によると、各モデルは1ラウンドのみ実行されています。これまでの反復テストでは、他のモデルのスコアが最大3問分変動したこともありました。

gemini-4-neon-plotly-data-analytics-bench-perfect-score-hydrogen-ja-image-2

情報源

  • Plotly のオリジナル評価と訂正: plotly.com/blog/gemini-4-neon-plotly-data-analytics-bench/
  • Plotly の完全な同榜と手法: plotly.com/blog/introducing-dataanalyticsbench/
  • Google の製品発表: blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-neon/

なぜ Plotly は依然として Hydrogen を推奨するのか:分析による判断

満点は並んだだけ、モデル選定はコストと速度で決まる

採点を修正した結果、Neon と Hydrogen は精度の面で優劣をつけられなくなりました。同じラウンドのデータで計算すると、Neon の一連のコストは Hydrogen の約 2.7 倍、1 問あたりの中央値の所要時間は約 1.4 倍です。精度が同じであれば、より安価で高速なほうが当然有利です。したがって、Plotly の推奨結論は今回の採点修正によって調整する必要はありません。

Carbon の状況はさらに分かりやすいものです。スコアは 1 問分低く、コストは Hydrogen より高く、1 問あたりの所要時間は Hydrogen の 3 倍近くに達しており、この比較の中では明らかな優位性はありません。

採点修正が示すもの:Neon のデータ品質判断が過小評価されていた

今回の訂正は Neon にとってポジティブな情報です。元のルールが誤判定したのはまさにデータ品質の設問で、Neon が不正解とされた理由は、データに実際に存在する問題を指摘していたことでした。汚いデータや外れ値を見つける必要がある分析タスクにおいて、これは Neon が相応の識別能力を備えていることを示しています。

ただし、採点修正が影響するのは精度の項目だけであり、Neon のコストと速度はそれによって変わりません。Plotly は Neon の全 43 問の回答を 1 つずつ人手で検証し、この満点を自動採点よりも信頼できるものにしましたが、コスト面での位置づけは変えていません。

どの結論がモデル選定に使え、どれが使えないか

結論 モデル選定に直接使えるか 理由
Google のモデルの中で、データ分析タスクは Hydrogen を優先的に検討する 可能だが、利用シーンを限定する必要がある Plotly の推奨は、同社のテストおよび Google モデル選択の範囲に限定されている
Neon と Hydrogen の精度は同等 慎重に採用 単一サンプルのテストであり、他のモデルで再テストした際にスコアが最大 3 問変動したことがある
Neon のコストは Hydrogen の約 2.7 倍 相対的な参考値として利用可 実行当日の OpenRouter の価格に基づく計算であり、実際の単価は異なる可能性がある
Hydrogen は Neon より高速 相対的な参考値として利用可 所要時間にはクエリ時間が含まれ、テスト環境の影響を受ける
Hydrogen が全モデル中でデータ分析に最適 不可 同じラウンドの他社比較参照である GPT-6.1 Sol のほうが安価で高速
Neon はモデルのアップグレード 不可 これは採点の修正であり、モデル自体は変わっていない

今後注目すべきポイント

ここで挙げるのは予測と観察の方向性であり、すでに起きた事実ではない点にご留意ください。

  • Plotly が今後、複数ラウンドの反復テストの結果を公開した場合、Neon と Hydrogen の 1 問以内の差は入れ替わる可能性があります。その時点になって初めて、精度をより安定して比較できるようになります。
  • コストの順位は価格設定に依存します。各モデルの価格が調整されれば、同じ問題数で再計算したコストの順位もそれに伴って変わる可能性があります。
  • 非公開の問題セットでもルールの誤判定は起こります。今回の訂正は、評価を読むときには総合スコアだけでなく、評価側が訂正や人手による再確認のプロセスを公開しているかどうかも見るべきだということを読者に思い出させてくれます。

データ分析タスク用のモデルを選んでいる読者にとって、このニュースの実際的な意味は次の点にあります。Neon はもはや採点ルールによって過小評価されることはありませんが、Plotly のこのテストにおいては、Google のモデルの中では Hydrogen のほうが依然として安価で高速です。

Gemini 4 Neon の満点は採点ミスを修正したものであり、Hydrogen の推奨はコストパフォーマンスを考慮したものです。この 2 つは矛盾しません。英語のことわざにもあるとおり、「Price is what you pay; value is what you get.」(価格はあなたが支払うもの、価値はあなたが得るものです。)

類似投稿