|

Gemini 4 Neon Datenanalyse-Benchmark auf volle Punktzahl geändert: Warum empfiehlt Plotly weiterhin Hydrogen?

Gemini 4 Neon Datenanalyse-Benchmark auf volle Punktzahl geändert: Warum empfiehlt Plotly weiterhin Hydrogen?

Plotly empfiehlt weiterhin Hydrogen – denn die Korrektur der Bewertung hat Gemini 4 Neon nur mit Hydrogen gleichgezogen, nicht überholt. In derselben Evaluierungsrunde erreichen beide die volle Punktzahl, doch die Gesamtkosten für das komplette Set liegen bei Hydrogen bei rund einem Drittel von Neon, und auch die mediane Zeit pro Aufgabe ist kürzer. Stehen die Punkte gleichauf, verschiebt sich der Vergleich auf Kosten und Geschwindigkeit – und bei diesen beiden Kriterien liegt Hydrogen vorn.

Noch eine Anmerkung: Diesmal hat die dritte Partei, die die Bewertung durchführt – Plotly – die Bewertungsregeln überarbeitet, nicht Google ein Modell aktualisiert.

Was erfahren Sie in diesem Artikel?

  • Warum Plotly am 19. November die Punktzahl von Gemini 4 Neon von 42/43 auf 43/43 geändert hat.
  • Die Punktzahlen, die Gesamtkosten und die Zeit pro Aufgabe von Neon, Hydrogen und Carbon in derselben Evaluierungsrunde.
  • Welche Schlussfolgerungen sich direkt für die Modellauswahl bei Datenanalyseaufgaben nutzen lassen – und welche nicht.

Überblick: Der Artikel erklärt zunächst in einer Tabelle einige Schlüsselbegriffe und skizziert dann die Auswirkungen je nach Zielgruppe. Im Abschnitt „Objektive Fakten“ des Hauptteils werden nacheinander die ursprüngliche Evaluierung, die Korrektur und die Ergebnisse derselben Runde dargestellt; der Abschnitt „Analytische Einschätzung“ erklärt, warum Hydrogen gewinnt und wo die Grenzen dieser Rangliste bei der Modellauswahl liegen.

gemini-4-neon-plotly-data-analytics-bench-perfect-score-hydrogen-de-image-0


Vorschau auf die Korrektur der Bewertung von Gemini 4 Neon: Die wichtigsten Begriffe erklärt

Begriff Kurze Erklärung
Plotly Unternehmen für Datenvisualisierung und -analyse; externer Organisator dieser Evaluierung, kein Modellhersteller
DataAnalyticsBench Von Plotly veröffentlichter Data-Analytics-Benchmark mit privatem Fragenset auf Basis synthetischer Windkraftdaten
Plotly Studio Embedded Agent-Testumgebung dieser Evaluierung; alle Modelle geben ihre Antworten in dieser Umgebung ab
Bewertungsregeln (Rubric) Kriterien für die Entscheidung, ob eine Antwort richtig oder falsch ist; korrigiert wurde die Regel für eine der Aufgaben
Synthetische Daten Künstlich erzeugte simulierte Daten, mit denen kontrollierbare Aufgaben erstellt werden
Einzellauf Jedes Modell durchläuft nur eine vollständige Runde; keine mehrfache Wiederholung mit Mittelwertbildung
Medianzeit pro Aufgabe Median der Bearbeitungszeit über alle Aufgaben; in dieser Messung einschließlich Abfragezeit
OpenRouter-Preise Preisbasis für die Gesamtkosten dieser Auswertung; berechnet nach den OpenRouter-Preisen am jeweiligen Tag des Modelllaufs

Kurzüberblick: Was es für verschiedene Gruppen bedeutet, wenn Gemini 4 Neon die volle Punktzahl erreicht

Zielgruppe Auswirkung
Entwickler, die Google-Modelle für Datenanalyseaufgaben auswählen Neon und Hydrogen liegen bei der Genauigkeit gleichauf; das günstigere und schnellere Hydrogen bleibt die bevorzugte Option
Teams, die bereits Neon einsetzen Die Korrektur zeigt, dass die Analysefähigkeit von Neon nach den ursprünglichen Regeln unterschätzt wurde; an Kosten und Laufzeit ändert sich nichts
Forschende, die sich mit Evaluierungsmethoden befassen Ein Fall, in dem eine Aufgabenregel ein echtes Problem falsch bewertet hat und anschließend korrigiert wurde – ein Beleg dafür, dass auch private Fragensets überprüft werden müssen
Normale Anwender Das Modell selbst hat sich nicht verändert; die Änderung betrifft die Bewertungsregeln des Veranstalters

Korrektur der Gemini 4 Neon Benchmark-Ergebnisse: objektive Fakten

Plotlys ursprüngliche Auswertung: Gemini 4 Neon meldet zunächst 42/43

Der originale Auswertungsartikel von Plotly ist auf den 18.11.2026 datiert; damals lag die veröffentlichte Punktzahl von Gemini 4 Neon bei 42/43. Die Veröffentlichungsinformationen zu Gemini 4 Neon stammen aus dem offiziellen Google-Blog, während die Evaluierung von Plotly als unabhängiger Drittorganisation durchgeführt wurde.

Die Tests fanden in der Agent-Umgebung Plotly Studio Embedded statt, der Fragensatz ist privat und basiert auf synthetischen Windkraftdaten. Die Fragetypen decken folgende Kategorien ab:

  • Konventionelle Datenanalyse
  • Mehrdeutige Anfragen
  • Nicht beantwortbare Anfragen
  • Datenqualität
  • Statistische Fallstricke
  • Versteckte Muster

Korrektur vom 19. November: Gemini 4 Neon von 42 auf volle Punktzahl

Plotly hat im Originaltext eine Korrektur ergänzt, datiert auf den 19. November – ohne genaue Uhrzeit und ohne Zeitzone.

Auslöser war eine Aufgabe zur Datenqualität. Die ursprüngliche Bewertungsregel hat zwei tatsächlich vorhandene Probleme in den synthetischen Daten als irrelevant eingestuft. Wenn ein Modell diese beiden Probleme in seiner Antwort benannte, wurde es deshalb als falsch bewertet. Das Modell lag also richtig, die Regel aber falsch.

Plotly ging so vor:

  1. Die Bewertungsregel für diese Aufgabe überarbeiten;
  2. alle Modelle neu bewerten, die diese Aufgabe zuvor nicht bestanden hatten;
  3. jede daraus resultierende Punkteänderung manuell prüfen;
  4. alle 43 Antworten von Neon einzeln manuell gegenprüfen.

Nach der Korrektur steht Neon bei 43/43. Carbon bleibt unverändert bei 42/43.

gemini-4-neon-plotly-data-analytics-bench-perfect-score-hydrogen-de-image-1

Punkt Vor der Korrektur Nach der Korrektur
Punktzahl Gemini 4 Neon 42/43 43/43
Punktzahl Carbon 42/43 42/43 (unverändert)
Grund der Änderung — Die Bewertungsregel einer Datenqualitätsaufgabe wurde überarbeitet
Das Modell selbst unverändert unverändert, kein Modell-Upgrade von Google
Datum der Korrektur im Originaltext mit 2026-11-18 angegeben Korrektur-Abschnitt datiert auf den 19. November, ohne Uhrzeit und Zeitzone

Ergebnisse derselben Evaluierungsrunde: Neon, Hydrogen und Carbon

Die folgenden Daten stammen alle aus derselben Runde und derselben Testumgebung von Plotly. GPT-6.1 Sol ist nur als herstellerübergreifende Referenz aufgeführt und gehört nicht zu den Plotly-Empfehlungen für Google-Modelle.

Modell Punktzahl Gesamtkosten Median-Zeit pro Aufgabe
Gemini 4 Neon 43/43 $17.03 46 Sekunden
Hydrogen 43/43 $6.36 32 Sekunden
Carbon 42/43 $11.55 93 Sekunden
GPT-6.1 Sol (Referenz) 43/43 $2.61 18 Sekunden

Beim Lesen dieser Tabelle sind folgende Maßstäbe zu beachten:

  • Gesamtkosten werden auf Basis der OpenRouter-Preise am jeweiligen Testtag des Modells berechnet und entsprechen nicht den offiziellen Google-Einzelpreisen oder den Listenpreisen anderer Plattformen.
  • Median-Zeit pro Aufgabe enthält die Abfragezeit und ist nicht die reine Generierungszeit des Modells.
  • Einzelstichprobe: Plotly gibt an, dass jedes Modell nur in einer Runde lief. Bei früheren Wiederholungstests schwankten die Punktzahlen anderer Modelle um bis zu drei Aufgaben.

gemini-4-neon-plotly-data-analytics-bench-perfect-score-hydrogen-de-image-2

Quellen

  • Plotlys ursprüngliche Evaluierung und Korrektur: plotly.com/blog/gemini-4-neon-plotly-data-analytics-bench/
  • Plotlys vollständige Rangliste und Methodik: plotly.com/blog/introducing-dataanalyticsbench/
  • Google-Produktankündigung: blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-neon/

Warum Plotly trotzdem Hydrogen empfiehlt: eine analytische Einschätzung

Perfekte Punktzahl bedeutet nur Gleichstand – bei der Auswahl zählen Kosten und Geschwindigkeit

Nach der Korrektur der Bewertung lassen sich Neon und Hydrogen bei der Genauigkeit nicht mehr unterscheiden. Berechnet auf Basis der Daten derselben Runde, liegen die Gesamtkosten von Neon etwa beim 2,7-Fachen von Hydrogen, und die mediane Bearbeitungszeit pro Aufgabe beträgt etwa das 1,4-Fache. Bei gleicher Genauigkeit ist die günstigere und schnellere Option natürlich die bessere Wahl – die Empfehlung von Plotly muss daher aufgrund dieser Bewertungskorrektur nicht angepasst werden.

Die Situation von Carbon ist noch anschaulicher. Es erzielt einen Punkt weniger, kostet mehr als Hydrogen, und die Bearbeitungszeit pro Aufgabe liegt nahezu beim Dreifachen von Hydrogen – in diesem Vergleich gibt es also keinen klaren Vorteil.

Was die Bewertungskorrektur zeigt: Die Einschätzung der Datenqualität durch Neon wurde unterschätzt

Diese Korrektur ist für Neon eine positive Nachricht. Die ursprüngliche Regel hat genau die Datenqualitätsaufgabe falsch bewertet, und Neon wurde deshalb als falsch eingestuft, weil es auf tatsächlich in den Daten vorhandene Probleme hingewiesen hat. Für Analyseaufgaben, bei denen schmutzige Daten und Ausreißer gefunden werden müssen, zeigt das, dass Neon über die entsprechende Erkennungsfähigkeit verfügt.

Allerdings betrifft die Korrektur nur die Genauigkeit – die Kosten und die Geschwindigkeit von Neon haben sich dadurch nicht verändert. Plotly hat alle 43 Antworten von Neon einzeln manuell überprüft, was diese perfekte Punktzahl glaubwürdiger macht als eine automatische Bewertung, aber an ihrer Position bei den Kosten ändert das nichts.

Welche Schlussfolgerungen für die Auswahl taugen – und welche nicht

Schlussfolgerung Direkt für die Auswahl geeignet? Grund
Bei Google-Modellen für Datenanalyse-Aufgaben vorrangig Hydrogen in Betracht ziehen Ja, aber nur mit Einschränkung auf bestimmte Szenarien Plotlys Empfehlung beschränkt sich auf die eigenen Tests und die Auswahl an Google-Modellen
Neon und Hydrogen sind bei der Genauigkeit vergleichbar Mit Vorsicht übernehmen Einzeltest mit einer Stichprobe; bei Wiederholungstests anderer Modelle schwankten die Punktzahlen um bis zu drei Aufgaben
Die Kosten von Neon liegen etwa beim 2,7-Fachen von Hydrogen Als relativer Referenzwert geeignet Berechnet nach der OpenRouter-Preisliste am Tag des Tests; die tatsächlichen Stückpreise können abweichen
Hydrogen ist schneller als Neon Als relativer Referenzwert geeignet Die Laufzeit enthält die Abfragezeit und hängt von der Testumgebung ab
Hydrogen ist bei der Datenanalyse das beste aller Modelle Nein Der herstellerübergreifende Vergleich im selben Durchlauf zeigt: GPT-6.1 Sol ist günstiger und schneller
Neon ist ein Modell-Upgrade Nein Hierbei handelt es sich um eine Korrektur der Bewertung; das Modell selbst hat sich nicht verändert

Punkte, die es weiter zu beobachten gilt

Zur Klarstellung: Das Folgende sind Prognosen und Beobachtungsrichtungen, keine bereits eingetretenen Tatsachen:

  • Wenn Plotly später Ergebnisse aus mehreren Wiederholungstests veröffentlicht, könnte sich der Unterschied von weniger als einer Aufgabe zwischen Neon und Hydrogen neu sortieren – erst dann lässt sich die Genauigkeit verlässlicher vergleichen.
  • Die Rangfolge der Kosten hängt von der Preisgestaltung ab. Werden die Preise der einzelnen Modelle angepasst, kann sich auch die nach derselben Aufgabenmenge neu berechnete Kostenrangfolge entsprechend verändern.
  • Auch bei privaten Aufgaben-Sets kommt es zu Fehlbewertungen durch die Regeln. Diese Korrektur erinnert die Leser daran, beim Lesen von Benchmarks nicht nur den Gesamtwert zu betrachten, sondern auch, ob der Bewertende Korrekturen und den Prozess der manuellen Überprüfung offengelegt hat.

Für Leser, die gerade ein Modell für Datenanalyse-Aufgaben auswählen, liegt die praktische Bedeutung dieser Nachricht darin: Neon wird von den Bewertungsregeln nicht mehr unterschätzt, aber in diesem Test von Plotly ist Hydrogen unter den Google-Modellen nach wie vor günstiger und schneller.

Die volle Punktzahl von Gemini 4 Neon korrigiert einen Bewertungsfehler, die Empfehlung für Hydrogen beruht auf dem Preis-Leistungs-Verhältnis – die beiden Dinge widersprechen sich nicht. Wie es ein englisches Sprichwort sagt: „Price is what you pay; value is what you get.“ (Der Preis ist, was du zahlst; der Wert ist, was du bekommst.)

Ähnliche Beiträge