Plotly continue de recommander Hydrogen, car cette révision du score a seulement permis à Gemini 4 Neon d’égaler Hydrogen, sans le dépasser. Dans la même session d’évaluation, les deux modèles ont obtenu la note maximale, mais le coût total de Hydrogen représente environ un tiers de celui de Neon, et son temps médian par question est lui aussi plus court. Une fois les scores à égalité, la comparaison se déplace sur le terrain du coût et de la vitesse — deux critères sur lesquels Hydrogen l’emporte.
Un point à préciser aussi : c’est Plotly, l’évaluateur tiers, qui a révisé les règles de notation. Ce n’est pas Google qui a fait évoluer le modèle.
Ce que vous apprendrez dans cet article
- Pourquoi Plotly a changé le score de Gemini 4 Neon de 42/43 à 43/43 le 19 novembre.
- Les scores, le coût total et le temps par question de Neon, Hydrogen et Carbon dans la même session d’évaluation.
- Quelles conclusions sont directement exploitables pour choisir un modèle sur des tâches d’analyse de données, et lesquelles ne le sont pas.
Sommaire : l’article commence par un tableau qui explique quelques concepts clés, puis résume brièvement les implications selon les profils de lecteurs. La partie « Faits objectifs » détaille successivement l’évaluation initiale, les corrections apportées et les résultats de la même session ; la partie « Analyse et interprétation » explique pourquoi Hydrogen sort gagnant, ainsi que les limites d’usage de ce classement pour le choix d’un modèle.

Gemini 4 Neon et la correction de notation : les concepts à connaître
| Concept | Brève explication |
|---|---|
| Plotly | Société d’outils de visualisation et d’analyse de données ; c’est l’organisateur tiers de cette évaluation, pas un fournisseur de modèles |
| DataAnalyticsBench | Benchmark d’analyse de données lancé par Plotly, avec un corpus de questions privé basé sur des données éoliennes synthétiques |
| Plotly Studio Embedded | Environnement de test d’agent utilisé pour cette évaluation ; tous les modèles répondent dans cet environnement |
| Règles de notation (Rubric) | Critères permettant de juger si une réponse est correcte ; cette correction porte sur la règle d’une des questions |
| Données synthétiques | Données simulées générées artificiellement, utilisées pour construire des questions contrôlables |
| Échantillon unique | Chaque modèle n’effectue qu’un seul passage complet, sans répétition ni moyenne sur plusieurs exécutions |
| Temps médian par question | Médiane des temps sur l’ensemble des questions ; dans cette mesure, le temps de requête est inclus |
| Tarification OpenRouter | Base de calcul du coût total de cette évaluation, selon les prix OpenRouter du jour d’exécution de chaque modèle |
Aperçu de l’impact du score parfait de Gemini 4 Neon selon les publics
| Public | Impact |
|---|---|
| Développeurs qui choisissent un modèle Google pour des tâches d’analyse de données | Neon et Hydrogen sont à égalité en exactitude ; Hydrogen, moins cher et plus rapide, reste le choix privilégié |
| Équipes ayant déjà choisi Neon | La correction montre que les capacités d’analyse de Neon étaient sous-estimées par l’ancienne règle, mais son coût et son temps d’exécution n’ont pas changé |
| Chercheurs qui s’intéressent aux méthodes d’évaluation | C’est un cas où une règle de question a mal jugé un problème réel, puis a été corrigée ; cela montre que les corpus privés doivent eux aussi être vérifiés |
| Utilisateurs ordinaires | Le modèle lui-même n’a pas changé ; cette différence vient des règles de notation de l’évaluateur |
Correction du score de Gemini 4 Neon : les faits, rien que les faits
L’évaluation initiale de Plotly : Gemini 4 Neon annoncé à 42/43
L’article d’évaluation original de Plotly est daté du 18 novembre 2026, et le score publié à l’époque pour Gemini 4 Neon était de 42/43. Les informations sur la sortie de Gemini 4 Neon proviennent du blog officiel de Google, tandis que l’évaluation a été menée par Plotly en tant qu’organisation tierce indépendante.
Les tests se sont déroulés dans l’environnement d’agent Plotly Studio Embedded, avec un jeu de questions privé, construit à partir de données synthétiques d’énergie éolienne. Les types de questions couvraient les catégories suivantes :
- Analyse de données courante
- Requêtes ambiguës
- Requêtes sans réponse possible
- Qualité des données
- Pièges statistiques
- Motifs cachés
Correction du 19 novembre : Gemini 4 Neon passe de 42 à la note parfaite
Plotly a ajouté une correction dans l’article original, datée du 19 novembre, sans préciser l’heure ni le fuseau horaire.
Le problème venait d’une question sur la qualité des données. La règle de notation initiale traitait deux problèmes bien réels présents dans les données synthétiques comme des éléments hors sujet ; du coup, un modèle qui signalait ces deux problèmes dans sa réponse était pénalisé. Autrement dit, le modèle avait raison, mais la règle le comptait comme faux.
Voici comment Plotly a procédé :
- réviser la règle de notation de cette question ;
- réévaluer les modèles qui n’avaient pas validé cette question jusqu’ici ;
- vérifier manuellement toutes les modifications de score qui en découlaient ;
- contrôler manuellement, une par une, les 43 réponses de Neon.
Après correction, Neon passe à 43/43. Carbon reste à 42/43, son score ne change pas.

| Élément | Avant correction | Après correction |
|---|---|---|
| Score de Gemini 4 Neon | 42/43 | 43/43 |
| Score de Carbon | 42/43 | 42/43 (inchangé) |
| Raison du changement | — | La règle de notation d’une question sur la qualité des données a été révisée |
| Le modèle lui-même | Inchangé | Inchangé, ce n’est pas une mise à niveau du modèle par Google |
| Date de correction | L’article original indique 2026-11-18 | Le paragraphe de correction indique le 19 novembre, sans heure ni fuseau horaire |
Résultats d’une même série d’évaluations : Neon, Hydrogen et Carbon
Les données ci-dessous proviennent de la même série d’évaluations de Plotly et du même environnement de test. GPT-6.1 Sol est uniquement listé comme référence inter-fournisseurs ; il ne fait pas partie des modèles Google recommandés par Plotly.
| Modèle | Score | Coût total de la série | Temps médian par question |
|---|---|---|---|
| Gemini 4 Neon | 43/43 | $17.03 | 46 s |
| Hydrogen | 43/43 | $6.36 | 32 s |
| Carbon | 42/43 | $11.55 | 93 s |
| GPT-6.1 Sol (référence) | 43/43 | $2.61 | 18 s |
Pour lire ce tableau, il faut garder à l’esprit les précisions suivantes :
- Coût total de la série : calculé selon la tarification OpenRouter du jour d’exécution de chaque modèle ; il ne correspond pas au prix unitaire officiel de Google ni aux tarifs affichés sur d’autres plateformes.
- Temps médian par question : inclut le temps de requête ; il ne s’agit pas du temps de génération pure du modèle.
- Échantillon unique : Plotly précise que chaque modèle n’a été exécuté qu’une seule fois. Lors de tests répétés précédents, les scores d’autres modèles ont varié d’au plus trois questions.

Sources d’information
- Évaluation initiale et corrections de Plotly : plotly.com/blog/gemini-4-neon-plotly-data-analytics-bench/
- Classement complet et méthodologie de Plotly : plotly.com/blog/introducing-dataanalyticsbench/
- Annonce produit de Google : blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-neon/
Pourquoi Plotly recommande encore Hydrogen : analyse et évaluation
Un score parfait ne fait qu’égaliser : le choix doit se jouer sur le coût et la vitesse
Après la correction de notation, Neon et Hydrogen ne se distinguent plus en termes de précision. D’après les données de la même campagne de test, le coût total de Neon est environ 2,7 fois celui de Hydrogen, et le temps médian par question environ 1,4 fois. À précision égale, le moins cher et le plus rapide est naturellement plus avantageux ; la conclusion de recommandation de Plotly n’a donc pas besoin d’être ajustée après cette correction.
Le cas de Carbon est encore plus parlant. Son score est inférieur d’une question, son coût est supérieur à celui de Hydrogen et son temps par question atteint presque le triple de celui de Hydrogen : dans cette comparaison, il n’a pas d’avantage net.
Ce que révèle la correction : la capacité de Neon à juger la qualité des données était sous-estimée
Cette correction est une information positive pour Neon. La règle initiale a justement mal évalué une question sur la qualité des données, et si Neon a été jugé erroné, c’est parce qu’il avait signalé un problème réel dans les données. Pour les tâches d’analyse qui exigent de détecter des données de qualité douteuse et des valeurs aberrantes, cela indique que Neon sait repérer ce type de problème.
Toutefois, la correction ne touche que le critère de précision ; le coût et la vitesse de Neon n’ont pas changé pour autant. Plotly a vérifié manuellement, une par une, les 43 réponses de Neon, ce qui rend ce score parfait plus crédible qu’une évaluation automatique, mais ne change pas sa position en matière de coût.
Quelles conclusions peuvent servir au choix d’un modèle, et lesquelles ne le peuvent pas
| Conclusion | Utilisable directement pour le choix du modèle ? | Raison |
|---|---|---|
| Dans les modèles Google, privilégier Hydrogen pour les tâches d’analyse de données | Oui, mais dans un cadre limité | La recommandation de Plotly se limite à son test et au périmètre des modèles Google qu’il a choisis |
| Neon et Hydrogen ont une précision comparable | À utiliser avec prudence | Test sur un seul échantillon ; lors de tests répétés avec d’autres modèles, les scores ont varié de jusqu’à trois questions |
| Le coût de Neon est environ 2,7 fois celui de Hydrogen | Utilisable comme référence relative | Calculé d’après les tarifs OpenRouter du jour de l’exécution ; les prix unitaires réels peuvent différer |
| Hydrogen est plus rapide que Neon | Utilisable comme référence relative | La durée inclut le temps de requête et dépend de l’environnement de test |
| Hydrogen est le meilleur pour l’analyse de données parmi tous les modèles | Non | La référence inter-fournisseurs du même tour, GPT-6.1 Sol, est moins chère et plus rapide |
| Neon correspond à une mise à niveau du modèle | Non | Il s’agit d’une révision de notation ; le modèle lui-même n’a pas changé |
Quelques points à suivre par la suite
Précision : ce qui suit relève de prévisions et de pistes d’observation, pas de faits déjà établis :
- Si Plotly publie ultérieurement des résultats sur plusieurs séries de tests répétés, l’écart d’une question ou moins entre Neon et Hydrogen pourrait se réordonner ; ce n’est qu’alors qu’on pourra comparer la précision avec plus de solidité.
- Le classement des coûts dépend des tarifs. Si les prix des différents modèles évoluent, le classement des coûts recalculé sur le même nombre de questions pourrait aussi changer.
- Les jeux de questions privés peuvent eux aussi donner lieu à des erreurs de règles. Cette correction rappelle aux lecteurs qu’en lisant une évaluation, il faut regarder non seulement le score total, mais aussi si l’évaluateur a rendu public son processus de correction et de vérification manuelle.
Pour les lecteurs qui choisissent un modèle pour des tâches d’analyse de données, l’actualité a un sens concret : Neon n’est plus sous-estimé par les règles de notation, mais dans ce test de Plotly, Hydrogen reste plus économique et plus rapide parmi les modèles Google.
Le score parfait de Gemini 4 Neon corrige une erreur de notation, et la recommandation de Hydrogen repose sur un rapport qualité-prix ; les deux ne sont pas contradictoires. Comme le dit le proverbe anglais : « Price is what you pay; value is what you get. » (Le prix est ce que vous payez ; la valeur est ce que vous obtenez.)
