|

Gemini 4 Neon : le score du benchmark d’analyse de données passe à la note maximale, pourquoi Plotly recommande-t-il toujours Hydrogen ?

Gemini 4 Neon : le score du benchmark d’analyse de données passe à la note maximale, pourquoi Plotly recommande-t-il toujours Hydrogen ?

Plotly continue de recommander Hydrogen, car cette révision du score a seulement permis à Gemini 4 Neon d’égaler Hydrogen, sans le dépasser. Dans la même session d’évaluation, les deux modèles ont obtenu la note maximale, mais le coût total de Hydrogen représente environ un tiers de celui de Neon, et son temps médian par question est lui aussi plus court. Une fois les scores à égalité, la comparaison se déplace sur le terrain du coût et de la vitesse — deux critères sur lesquels Hydrogen l’emporte.

Un point à préciser aussi : c’est Plotly, l’évaluateur tiers, qui a révisé les règles de notation. Ce n’est pas Google qui a fait évoluer le modèle.

Ce que vous apprendrez dans cet article

  • Pourquoi Plotly a changé le score de Gemini 4 Neon de 42/43 à 43/43 le 19 novembre.
  • Les scores, le coût total et le temps par question de Neon, Hydrogen et Carbon dans la même session d’évaluation.
  • Quelles conclusions sont directement exploitables pour choisir un modèle sur des tâches d’analyse de données, et lesquelles ne le sont pas.

Sommaire : l’article commence par un tableau qui explique quelques concepts clés, puis résume brièvement les implications selon les profils de lecteurs. La partie « Faits objectifs » détaille successivement l’évaluation initiale, les corrections apportées et les résultats de la même session ; la partie « Analyse et interprétation » explique pourquoi Hydrogen sort gagnant, ainsi que les limites d’usage de ce classement pour le choix d’un modèle.

gemini-4-neon-plotly-data-analytics-bench-perfect-score-hydrogen-fr-image-0


Gemini 4 Neon et la correction de notation : les concepts à connaître

Concept Brève explication
Plotly Société d’outils de visualisation et d’analyse de données ; c’est l’organisateur tiers de cette évaluation, pas un fournisseur de modèles
DataAnalyticsBench Benchmark d’analyse de données lancé par Plotly, avec un corpus de questions privé basé sur des données éoliennes synthétiques
Plotly Studio Embedded Environnement de test d’agent utilisé pour cette évaluation ; tous les modèles répondent dans cet environnement
Règles de notation (Rubric) Critères permettant de juger si une réponse est correcte ; cette correction porte sur la règle d’une des questions
Données synthétiques Données simulées générées artificiellement, utilisées pour construire des questions contrôlables
Échantillon unique Chaque modèle n’effectue qu’un seul passage complet, sans répétition ni moyenne sur plusieurs exécutions
Temps médian par question Médiane des temps sur l’ensemble des questions ; dans cette mesure, le temps de requête est inclus
Tarification OpenRouter Base de calcul du coût total de cette évaluation, selon les prix OpenRouter du jour d’exécution de chaque modèle

Aperçu de l’impact du score parfait de Gemini 4 Neon selon les publics

Public Impact
Développeurs qui choisissent un modèle Google pour des tâches d’analyse de données Neon et Hydrogen sont à égalité en exactitude ; Hydrogen, moins cher et plus rapide, reste le choix privilégié
Équipes ayant déjà choisi Neon La correction montre que les capacités d’analyse de Neon étaient sous-estimées par l’ancienne règle, mais son coût et son temps d’exécution n’ont pas changé
Chercheurs qui s’intéressent aux méthodes d’évaluation C’est un cas où une règle de question a mal jugé un problème réel, puis a été corrigée ; cela montre que les corpus privés doivent eux aussi être vérifiés
Utilisateurs ordinaires Le modèle lui-même n’a pas changé ; cette différence vient des règles de notation de l’évaluateur

Correction du score de Gemini 4 Neon : les faits, rien que les faits

L’évaluation initiale de Plotly : Gemini 4 Neon annoncé à 42/43

L’article d’évaluation original de Plotly est daté du 18 novembre 2026, et le score publié à l’époque pour Gemini 4 Neon était de 42/43. Les informations sur la sortie de Gemini 4 Neon proviennent du blog officiel de Google, tandis que l’évaluation a été menée par Plotly en tant qu’organisation tierce indépendante.

Les tests se sont déroulés dans l’environnement d’agent Plotly Studio Embedded, avec un jeu de questions privé, construit à partir de données synthétiques d’énergie éolienne. Les types de questions couvraient les catégories suivantes :

  • Analyse de données courante
  • Requêtes ambiguës
  • Requêtes sans réponse possible
  • Qualité des données
  • Pièges statistiques
  • Motifs cachés

Correction du 19 novembre : Gemini 4 Neon passe de 42 à la note parfaite

Plotly a ajouté une correction dans l’article original, datée du 19 novembre, sans préciser l’heure ni le fuseau horaire.

Le problème venait d’une question sur la qualité des données. La règle de notation initiale traitait deux problèmes bien réels présents dans les données synthétiques comme des éléments hors sujet ; du coup, un modèle qui signalait ces deux problèmes dans sa réponse était pénalisé. Autrement dit, le modèle avait raison, mais la règle le comptait comme faux.

Voici comment Plotly a procédé :

  1. réviser la règle de notation de cette question ;
  2. réévaluer les modèles qui n’avaient pas validé cette question jusqu’ici ;
  3. vérifier manuellement toutes les modifications de score qui en découlaient ;
  4. contrôler manuellement, une par une, les 43 réponses de Neon.

Après correction, Neon passe à 43/43. Carbon reste à 42/43, son score ne change pas.

gemini-4-neon-plotly-data-analytics-bench-perfect-score-hydrogen-fr-image-1

Élément Avant correction Après correction
Score de Gemini 4 Neon 42/43 43/43
Score de Carbon 42/43 42/43 (inchangé)
Raison du changement — La règle de notation d’une question sur la qualité des données a été révisée
Le modèle lui-même Inchangé Inchangé, ce n’est pas une mise à niveau du modèle par Google
Date de correction L’article original indique 2026-11-18 Le paragraphe de correction indique le 19 novembre, sans heure ni fuseau horaire

Résultats d’une même série d’évaluations : Neon, Hydrogen et Carbon

Les données ci-dessous proviennent de la même série d’évaluations de Plotly et du même environnement de test. GPT-6.1 Sol est uniquement listé comme référence inter-fournisseurs ; il ne fait pas partie des modèles Google recommandés par Plotly.

Modèle Score Coût total de la série Temps médian par question
Gemini 4 Neon 43/43 $17.03 46 s
Hydrogen 43/43 $6.36 32 s
Carbon 42/43 $11.55 93 s
GPT-6.1 Sol (référence) 43/43 $2.61 18 s

Pour lire ce tableau, il faut garder à l’esprit les précisions suivantes :

  • Coût total de la série : calculé selon la tarification OpenRouter du jour d’exécution de chaque modèle ; il ne correspond pas au prix unitaire officiel de Google ni aux tarifs affichés sur d’autres plateformes.
  • Temps médian par question : inclut le temps de requête ; il ne s’agit pas du temps de génération pure du modèle.
  • Échantillon unique : Plotly précise que chaque modèle n’a été exécuté qu’une seule fois. Lors de tests répétés précédents, les scores d’autres modèles ont varié d’au plus trois questions.

gemini-4-neon-plotly-data-analytics-bench-perfect-score-hydrogen-fr-image-2

Sources d’information

  • Évaluation initiale et corrections de Plotly : plotly.com/blog/gemini-4-neon-plotly-data-analytics-bench/
  • Classement complet et méthodologie de Plotly : plotly.com/blog/introducing-dataanalyticsbench/
  • Annonce produit de Google : blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-neon/

Pourquoi Plotly recommande encore Hydrogen : analyse et évaluation

Un score parfait ne fait qu’égaliser : le choix doit se jouer sur le coût et la vitesse

Après la correction de notation, Neon et Hydrogen ne se distinguent plus en termes de précision. D’après les données de la même campagne de test, le coût total de Neon est environ 2,7 fois celui de Hydrogen, et le temps médian par question environ 1,4 fois. À précision égale, le moins cher et le plus rapide est naturellement plus avantageux ; la conclusion de recommandation de Plotly n’a donc pas besoin d’être ajustée après cette correction.

Le cas de Carbon est encore plus parlant. Son score est inférieur d’une question, son coût est supérieur à celui de Hydrogen et son temps par question atteint presque le triple de celui de Hydrogen : dans cette comparaison, il n’a pas d’avantage net.

Ce que révèle la correction : la capacité de Neon à juger la qualité des données était sous-estimée

Cette correction est une information positive pour Neon. La règle initiale a justement mal évalué une question sur la qualité des données, et si Neon a été jugé erroné, c’est parce qu’il avait signalé un problème réel dans les données. Pour les tâches d’analyse qui exigent de détecter des données de qualité douteuse et des valeurs aberrantes, cela indique que Neon sait repérer ce type de problème.

Toutefois, la correction ne touche que le critère de précision ; le coût et la vitesse de Neon n’ont pas changé pour autant. Plotly a vérifié manuellement, une par une, les 43 réponses de Neon, ce qui rend ce score parfait plus crédible qu’une évaluation automatique, mais ne change pas sa position en matière de coût.

Quelles conclusions peuvent servir au choix d’un modèle, et lesquelles ne le peuvent pas

Conclusion Utilisable directement pour le choix du modèle ? Raison
Dans les modèles Google, privilégier Hydrogen pour les tâches d’analyse de données Oui, mais dans un cadre limité La recommandation de Plotly se limite à son test et au périmètre des modèles Google qu’il a choisis
Neon et Hydrogen ont une précision comparable À utiliser avec prudence Test sur un seul échantillon ; lors de tests répétés avec d’autres modèles, les scores ont varié de jusqu’à trois questions
Le coût de Neon est environ 2,7 fois celui de Hydrogen Utilisable comme référence relative Calculé d’après les tarifs OpenRouter du jour de l’exécution ; les prix unitaires réels peuvent différer
Hydrogen est plus rapide que Neon Utilisable comme référence relative La durée inclut le temps de requête et dépend de l’environnement de test
Hydrogen est le meilleur pour l’analyse de données parmi tous les modèles Non La référence inter-fournisseurs du même tour, GPT-6.1 Sol, est moins chère et plus rapide
Neon correspond à une mise à niveau du modèle Non Il s’agit d’une révision de notation ; le modèle lui-même n’a pas changé

Quelques points à suivre par la suite

Précision : ce qui suit relève de prévisions et de pistes d’observation, pas de faits déjà établis :

  • Si Plotly publie ultérieurement des résultats sur plusieurs séries de tests répétés, l’écart d’une question ou moins entre Neon et Hydrogen pourrait se réordonner ; ce n’est qu’alors qu’on pourra comparer la précision avec plus de solidité.
  • Le classement des coûts dépend des tarifs. Si les prix des différents modèles évoluent, le classement des coûts recalculé sur le même nombre de questions pourrait aussi changer.
  • Les jeux de questions privés peuvent eux aussi donner lieu à des erreurs de règles. Cette correction rappelle aux lecteurs qu’en lisant une évaluation, il faut regarder non seulement le score total, mais aussi si l’évaluateur a rendu public son processus de correction et de vérification manuelle.

Pour les lecteurs qui choisissent un modèle pour des tâches d’analyse de données, l’actualité a un sens concret : Neon n’est plus sous-estimé par les règles de notation, mais dans ce test de Plotly, Hydrogen reste plus économique et plus rapide parmi les modèles Google.

Le score parfait de Gemini 4 Neon corrige une erreur de notation, et la recommandation de Hydrogen repose sur un rapport qualité-prix ; les deux ne sont pas contradictoires. Comme le dit le proverbe anglais : « Price is what you pay; value is what you get. » (Le prix est ce que vous payez ; la valeur est ce que vous obtenez.)

Publications similaires