Plotly empfiehlt weiterhin Hydrogen – denn die Korrektur der Bewertung hat Gemini 4 Neon nur mit Hydrogen gleichgezogen, nicht überholt. In derselben Evaluierungsrunde erreichen beide die volle Punktzahl, doch die Gesamtkosten für das komplette Set liegen bei Hydrogen bei rund einem Drittel von Neon, und auch die mediane Zeit pro Aufgabe ist kürzer. Stehen die Punkte gleichauf, verschiebt sich der Vergleich auf Kosten und Geschwindigkeit – und bei diesen beiden Kriterien liegt Hydrogen vorn.
Noch eine Anmerkung: Diesmal hat die dritte Partei, die die Bewertung durchführt – Plotly – die Bewertungsregeln überarbeitet, nicht Google ein Modell aktualisiert.
Was erfahren Sie in diesem Artikel?
- Warum Plotly am 19. November die Punktzahl von Gemini 4 Neon von 42/43 auf 43/43 geändert hat.
- Die Punktzahlen, die Gesamtkosten und die Zeit pro Aufgabe von Neon, Hydrogen und Carbon in derselben Evaluierungsrunde.
- Welche Schlussfolgerungen sich direkt für die Modellauswahl bei Datenanalyseaufgaben nutzen lassen – und welche nicht.
Überblick: Der Artikel erklärt zunächst in einer Tabelle einige Schlüsselbegriffe und skizziert dann die Auswirkungen je nach Zielgruppe. Im Abschnitt „Objektive Fakten“ des Hauptteils werden nacheinander die ursprüngliche Evaluierung, die Korrektur und die Ergebnisse derselben Runde dargestellt; der Abschnitt „Analytische Einschätzung“ erklärt, warum Hydrogen gewinnt und wo die Grenzen dieser Rangliste bei der Modellauswahl liegen.

Vorschau auf die Korrektur der Bewertung von Gemini 4 Neon: Die wichtigsten Begriffe erklärt
| Begriff | Kurze Erklärung |
|---|---|
| Plotly | Unternehmen für Datenvisualisierung und -analyse; externer Organisator dieser Evaluierung, kein Modellhersteller |
| DataAnalyticsBench | Von Plotly veröffentlichter Data-Analytics-Benchmark mit privatem Fragenset auf Basis synthetischer Windkraftdaten |
| Plotly Studio Embedded | Agent-Testumgebung dieser Evaluierung; alle Modelle geben ihre Antworten in dieser Umgebung ab |
| Bewertungsregeln (Rubric) | Kriterien für die Entscheidung, ob eine Antwort richtig oder falsch ist; korrigiert wurde die Regel für eine der Aufgaben |
| Synthetische Daten | Künstlich erzeugte simulierte Daten, mit denen kontrollierbare Aufgaben erstellt werden |
| Einzellauf | Jedes Modell durchläuft nur eine vollständige Runde; keine mehrfache Wiederholung mit Mittelwertbildung |
| Medianzeit pro Aufgabe | Median der Bearbeitungszeit über alle Aufgaben; in dieser Messung einschließlich Abfragezeit |
| OpenRouter-Preise | Preisbasis für die Gesamtkosten dieser Auswertung; berechnet nach den OpenRouter-Preisen am jeweiligen Tag des Modelllaufs |
Kurzüberblick: Was es für verschiedene Gruppen bedeutet, wenn Gemini 4 Neon die volle Punktzahl erreicht
| Zielgruppe | Auswirkung |
|---|---|
| Entwickler, die Google-Modelle für Datenanalyseaufgaben auswählen | Neon und Hydrogen liegen bei der Genauigkeit gleichauf; das günstigere und schnellere Hydrogen bleibt die bevorzugte Option |
| Teams, die bereits Neon einsetzen | Die Korrektur zeigt, dass die Analysefähigkeit von Neon nach den ursprünglichen Regeln unterschätzt wurde; an Kosten und Laufzeit ändert sich nichts |
| Forschende, die sich mit Evaluierungsmethoden befassen | Ein Fall, in dem eine Aufgabenregel ein echtes Problem falsch bewertet hat und anschließend korrigiert wurde – ein Beleg dafür, dass auch private Fragensets überprüft werden müssen |
| Normale Anwender | Das Modell selbst hat sich nicht verändert; die Änderung betrifft die Bewertungsregeln des Veranstalters |
Korrektur der Gemini 4 Neon Benchmark-Ergebnisse: objektive Fakten
Plotlys ursprüngliche Auswertung: Gemini 4 Neon meldet zunächst 42/43
Der originale Auswertungsartikel von Plotly ist auf den 18.11.2026 datiert; damals lag die veröffentlichte Punktzahl von Gemini 4 Neon bei 42/43. Die Veröffentlichungsinformationen zu Gemini 4 Neon stammen aus dem offiziellen Google-Blog, während die Evaluierung von Plotly als unabhängiger Drittorganisation durchgeführt wurde.
Die Tests fanden in der Agent-Umgebung Plotly Studio Embedded statt, der Fragensatz ist privat und basiert auf synthetischen Windkraftdaten. Die Fragetypen decken folgende Kategorien ab:
- Konventionelle Datenanalyse
- Mehrdeutige Anfragen
- Nicht beantwortbare Anfragen
- Datenqualität
- Statistische Fallstricke
- Versteckte Muster
Korrektur vom 19. November: Gemini 4 Neon von 42 auf volle Punktzahl
Plotly hat im Originaltext eine Korrektur ergänzt, datiert auf den 19. November – ohne genaue Uhrzeit und ohne Zeitzone.
Auslöser war eine Aufgabe zur Datenqualität. Die ursprüngliche Bewertungsregel hat zwei tatsächlich vorhandene Probleme in den synthetischen Daten als irrelevant eingestuft. Wenn ein Modell diese beiden Probleme in seiner Antwort benannte, wurde es deshalb als falsch bewertet. Das Modell lag also richtig, die Regel aber falsch.
Plotly ging so vor:
- Die Bewertungsregel für diese Aufgabe überarbeiten;
- alle Modelle neu bewerten, die diese Aufgabe zuvor nicht bestanden hatten;
- jede daraus resultierende Punkteänderung manuell prüfen;
- alle 43 Antworten von Neon einzeln manuell gegenprüfen.
Nach der Korrektur steht Neon bei 43/43. Carbon bleibt unverändert bei 42/43.

| Punkt | Vor der Korrektur | Nach der Korrektur |
|---|---|---|
| Punktzahl Gemini 4 Neon | 42/43 | 43/43 |
| Punktzahl Carbon | 42/43 | 42/43 (unverändert) |
| Grund der Änderung | — | Die Bewertungsregel einer Datenqualitätsaufgabe wurde überarbeitet |
| Das Modell selbst | unverändert | unverändert, kein Modell-Upgrade von Google |
| Datum der Korrektur | im Originaltext mit 2026-11-18 angegeben | Korrektur-Abschnitt datiert auf den 19. November, ohne Uhrzeit und Zeitzone |
Ergebnisse derselben Evaluierungsrunde: Neon, Hydrogen und Carbon
Die folgenden Daten stammen alle aus derselben Runde und derselben Testumgebung von Plotly. GPT-6.1 Sol ist nur als herstellerübergreifende Referenz aufgeführt und gehört nicht zu den Plotly-Empfehlungen für Google-Modelle.
| Modell | Punktzahl | Gesamtkosten | Median-Zeit pro Aufgabe |
|---|---|---|---|
| Gemini 4 Neon | 43/43 | $17.03 | 46 Sekunden |
| Hydrogen | 43/43 | $6.36 | 32 Sekunden |
| Carbon | 42/43 | $11.55 | 93 Sekunden |
| GPT-6.1 Sol (Referenz) | 43/43 | $2.61 | 18 Sekunden |
Beim Lesen dieser Tabelle sind folgende Maßstäbe zu beachten:
- Gesamtkosten werden auf Basis der OpenRouter-Preise am jeweiligen Testtag des Modells berechnet und entsprechen nicht den offiziellen Google-Einzelpreisen oder den Listenpreisen anderer Plattformen.
- Median-Zeit pro Aufgabe enthält die Abfragezeit und ist nicht die reine Generierungszeit des Modells.
- Einzelstichprobe: Plotly gibt an, dass jedes Modell nur in einer Runde lief. Bei früheren Wiederholungstests schwankten die Punktzahlen anderer Modelle um bis zu drei Aufgaben.

Quellen
- Plotlys ursprüngliche Evaluierung und Korrektur: plotly.com/blog/gemini-4-neon-plotly-data-analytics-bench/
- Plotlys vollständige Rangliste und Methodik: plotly.com/blog/introducing-dataanalyticsbench/
- Google-Produktankündigung: blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-neon/
Warum Plotly trotzdem Hydrogen empfiehlt: eine analytische Einschätzung
Perfekte Punktzahl bedeutet nur Gleichstand – bei der Auswahl zählen Kosten und Geschwindigkeit
Nach der Korrektur der Bewertung lassen sich Neon und Hydrogen bei der Genauigkeit nicht mehr unterscheiden. Berechnet auf Basis der Daten derselben Runde, liegen die Gesamtkosten von Neon etwa beim 2,7-Fachen von Hydrogen, und die mediane Bearbeitungszeit pro Aufgabe beträgt etwa das 1,4-Fache. Bei gleicher Genauigkeit ist die günstigere und schnellere Option natürlich die bessere Wahl – die Empfehlung von Plotly muss daher aufgrund dieser Bewertungskorrektur nicht angepasst werden.
Die Situation von Carbon ist noch anschaulicher. Es erzielt einen Punkt weniger, kostet mehr als Hydrogen, und die Bearbeitungszeit pro Aufgabe liegt nahezu beim Dreifachen von Hydrogen – in diesem Vergleich gibt es also keinen klaren Vorteil.
Was die Bewertungskorrektur zeigt: Die Einschätzung der Datenqualität durch Neon wurde unterschätzt
Diese Korrektur ist für Neon eine positive Nachricht. Die ursprüngliche Regel hat genau die Datenqualitätsaufgabe falsch bewertet, und Neon wurde deshalb als falsch eingestuft, weil es auf tatsächlich in den Daten vorhandene Probleme hingewiesen hat. Für Analyseaufgaben, bei denen schmutzige Daten und Ausreißer gefunden werden müssen, zeigt das, dass Neon über die entsprechende Erkennungsfähigkeit verfügt.
Allerdings betrifft die Korrektur nur die Genauigkeit – die Kosten und die Geschwindigkeit von Neon haben sich dadurch nicht verändert. Plotly hat alle 43 Antworten von Neon einzeln manuell überprüft, was diese perfekte Punktzahl glaubwürdiger macht als eine automatische Bewertung, aber an ihrer Position bei den Kosten ändert das nichts.
Welche Schlussfolgerungen für die Auswahl taugen – und welche nicht
| Schlussfolgerung | Direkt für die Auswahl geeignet? | Grund |
|---|---|---|
| Bei Google-Modellen für Datenanalyse-Aufgaben vorrangig Hydrogen in Betracht ziehen | Ja, aber nur mit Einschränkung auf bestimmte Szenarien | Plotlys Empfehlung beschränkt sich auf die eigenen Tests und die Auswahl an Google-Modellen |
| Neon und Hydrogen sind bei der Genauigkeit vergleichbar | Mit Vorsicht übernehmen | Einzeltest mit einer Stichprobe; bei Wiederholungstests anderer Modelle schwankten die Punktzahlen um bis zu drei Aufgaben |
| Die Kosten von Neon liegen etwa beim 2,7-Fachen von Hydrogen | Als relativer Referenzwert geeignet | Berechnet nach der OpenRouter-Preisliste am Tag des Tests; die tatsächlichen Stückpreise können abweichen |
| Hydrogen ist schneller als Neon | Als relativer Referenzwert geeignet | Die Laufzeit enthält die Abfragezeit und hängt von der Testumgebung ab |
| Hydrogen ist bei der Datenanalyse das beste aller Modelle | Nein | Der herstellerübergreifende Vergleich im selben Durchlauf zeigt: GPT-6.1 Sol ist günstiger und schneller |
| Neon ist ein Modell-Upgrade | Nein | Hierbei handelt es sich um eine Korrektur der Bewertung; das Modell selbst hat sich nicht verändert |
Punkte, die es weiter zu beobachten gilt
Zur Klarstellung: Das Folgende sind Prognosen und Beobachtungsrichtungen, keine bereits eingetretenen Tatsachen:
- Wenn Plotly später Ergebnisse aus mehreren Wiederholungstests veröffentlicht, könnte sich der Unterschied von weniger als einer Aufgabe zwischen Neon und Hydrogen neu sortieren – erst dann lässt sich die Genauigkeit verlässlicher vergleichen.
- Die Rangfolge der Kosten hängt von der Preisgestaltung ab. Werden die Preise der einzelnen Modelle angepasst, kann sich auch die nach derselben Aufgabenmenge neu berechnete Kostenrangfolge entsprechend verändern.
- Auch bei privaten Aufgaben-Sets kommt es zu Fehlbewertungen durch die Regeln. Diese Korrektur erinnert die Leser daran, beim Lesen von Benchmarks nicht nur den Gesamtwert zu betrachten, sondern auch, ob der Bewertende Korrekturen und den Prozess der manuellen Überprüfung offengelegt hat.
Für Leser, die gerade ein Modell für Datenanalyse-Aufgaben auswählen, liegt die praktische Bedeutung dieser Nachricht darin: Neon wird von den Bewertungsregeln nicht mehr unterschätzt, aber in diesem Test von Plotly ist Hydrogen unter den Google-Modellen nach wie vor günstiger und schneller.
Die volle Punktzahl von Gemini 4 Neon korrigiert einen Bewertungsfehler, die Empfehlung für Hydrogen beruht auf dem Preis-Leistungs-Verhältnis – die beiden Dinge widersprechen sich nicht. Wie es ein englisches Sprichwort sagt: „Price is what you pay; value is what you get.“ (Der Preis ist, was du zahlst; der Wert ist, was du bekommst.)
