Plotly по-прежнему рекомендует Hydrogen: это исправление оценки лишь позволило Gemini 4 Neon догнать Hydrogen, но не обогнать его. В одном и том же раунде оценки оба получили максимальный балл, однако полная стоимость набора у Hydrogen примерно в три раза ниже, чем у Neon, и медианное время на одну задачу тоже меньше. После того как баллы выровнялись, сравнение сводится к стоимости и скорости, и Hydrogen выигрывает по обоим показателям.
Стоит уточнить: на этот раз правила оценки пересмотрел сторонний оценщик Plotly, а не Google выпустила обновление модели.
Что вы узнаете из этой статьи?
- Почему Plotly 19 ноября исправила оценку Gemini 4 Neon с 42/43 на 43/43.
- Какие баллы, полная стоимость набора и медианное время на задачу у Neon, Hydrogen и Carbon в одном и том же раунде оценки.
- Какие выводы можно напрямую использовать при выборе модели для задач анализа данных, а какие — нельзя.
Навигация: Сначала статья объясняет несколько ключевых понятий в одной таблице, затем кратко описывает влияние для разных аудиторий. В основной части, в разделе «Объективные факты», последовательно изложены исходная оценка, исправленные данные и результаты того же раунда; в разделе «Аналитические суждения» объясняется, почему Hydrogen выигрывает, а также границы применимости этого рейтинга при выборе модели.

Вводная к новости о пересмотре оценки Gemini 4 Neon: что нужно знать
| Понятие | Краткое объяснение |
|---|---|
| Plotly | Компания, занимающаяся визуализацией и анализом данных; сторонний организатор этого тестирования, а не производитель моделей |
| DataAnalyticsBench | Тестирование анализа данных от Plotly; набор задач закрытый, построен на синтетических данных по ветроэнергетике |
| Plotly Studio Embedded | Среда тестирования агента (Agent), используемая в этом запуске; все модели отвечают именно в ней |
| Правила оценки (Rubric) | Критерии правильности ответа; при этом исправлении было изменено правило одной из задач |
| Синтетические данные | Искусственно созданные имитационные данные для построения контролируемых задач |
| Один прогон | Каждая модель проходит полный цикл только один раз, без повторных запусков и усреднения |
| Медианное время на задачу | Медиана времени выполнения по всем задачам; в этом измерении учитывается время запросов |
| Тарификация OpenRouter | Основа расчёта стоимости всего набора; считается по ценам OpenRouter на день запуска каждой модели |
Полный балл Gemini 4 Neon: кратко о влиянии на разные группы
| Группа | Влияние |
|---|---|
| Разработчики, выбирающие модели Google для задач анализа данных | Neon и Hydrogen равны по точности; более экономичный и быстрый Hydrogen остаётся приоритетным вариантом |
| Команды, уже выбравшие Neon | Пересмотр оценки показывает, что исходные правила недооценивали аналитические способности Neon, но его стоимость и время выполнения не изменились |
| Исследователи, следящие за методиками оценки | Это пример того, как правило для задачи неверно интерпретировало реальную проблему и позже было исправлено; он показывает, что даже закрытые наборы задач нужно перепроверять |
| Обычные пользователи | Сама модель не изменилась — изменение произошло в правилах оценки со стороны организаторов тестирования |
Исправление результатов Gemini 4 Neon: объективные факты
Первоначальная оценка Plotly: Gemini 4 Neon показал 42/43
Оригинальная статья с оценкой Plotly датирована 2026-11-18, и опубликованный тогда результат Gemini 4 Neon составил 42/43. Информация о выпуске Gemini 4 Neon взята из официального блога Google, а само тестирование проводила Plotly как независимая третья сторона.
Тесты шли в агентной среде Plotly Studio Embedded, набор задач — приватный, построенный на синтетических данных по ветроэнергетике. Типы задач охватывают несколько категорий:
- обычный анализ данных
- расплывчатые запросы
- запросы, на которые невозможно ответить
- качество данных
- статистические ловушки
- скрытые закономерности
Исправление от 19 ноября: Gemini 4 Neon — с 42 баллов до максимума
Plotly добавили в исходный текст абзац с исправлением, датированный 19 ноября, без указания точного времени и часового пояса.
Проблема возникла из-за одного задания на качество данных. Исходные правила оценки считали два реальные проблемы в синтетических данных несущественными, и в результате модель, которая указывала на эти две проблемы в ответе, получала за задание незачёт. То есть модель отвечала правильно, а правила ставили ей ошибку.
Plotly поступили так:
- Пересмотрели правила оценки этого задания;
- Заново оценили модели, которые ранее не проходили это задание;
- Вручную проверили все изменения оценок, которые из этого последовали;
- По одному вручную проверили все 43 ответа Neon.
После исправления результат Neon — 43/43. Carbon по-прежнему 42/43, его оценка не изменилась.

| Пункт | До исправления | После исправления |
|---|---|---|
| Результат Gemini 4 Neon | 42/43 | 43/43 |
| Результат Carbon | 42/43 | 42/43 (без изменений) |
| Причина изменения | — | Пересмотрены правила оценки одного задания на качество данных |
| Сама модель | Не менялась | Не менялась, это не обновление модели от Google |
| Дата исправления | В исходном тексте указано 2026-11-18 | В абзаце с исправлением указано 19 ноября, без времени и часового пояса |
Результаты одного раунда оценки: Neon, Hydrogen и Carbon
Все данные ниже — из одного раунда Plotly, полученного в одинаковой тестовой среде. GPT-6.1 Sol приведён только для сравнения с моделями других производителей и не входит в рекомендации Plotly по моделям Google.
| Модель | Баллы | Стоимость полного прогона | Медианное время на одну задачу |
|---|---|---|---|
| Gemini 4 Neon | 43/43 | $17.03 | 46 с |
| Hydrogen | 43/43 | $6.36 | 32 с |
| Carbon | 42/43 | $11.55 | 93 с |
| GPT-6.1 Sol (для сравнения) | 43/43 | $2.61 | 18 с |
При чтении таблицы стоит учитывать несколько методических оговорок:
- Стоимость полного прогона рассчитана по ценам OpenRouter на день запуска каждой модели и не совпадает с официальной ценой Google или ценами на других платформах.
- Медианное время на одну задачу включает время запроса, а не только время генерации модели.
- Одна выборка: Plotly указывает, что каждая модель запускалась только один раз. В предыдущих повторных тестах баллы других моделей колебались в пределах трёх заданий.

Источники информации
- Оригинальная оценка и исправления от Plotly: plotly.com/blog/gemini-4-neon-plotly-data-analytics-bench/
- Полная таблица лидеров и методология Plotly: plotly.com/blog/introducing-dataanalyticsbench/
- Анонс продукта Google: blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-neon/
Почему Plotly по-прежнему рекомендует Hydrogen: аналитический взгляд
Максимум — лишь паритет: при выборе важны стоимость и скорость
После корректировки оценок Neon и Hydrogen уже неразличимы по точности. Если считать по данным одного и того же прогона, полная стоимость Neon примерно в 2,7 раза выше, чем у Hydrogen, а медианное время на один вопрос — примерно в 1,4 раза больше. При одинаковой точности более дешёвый и быстрый вариант естественно выгоднее, поэтому рекомендация Plotly не требует изменений из-за этой корректировки.
С Carbon ситуация нагляднее. У него на один правильный ответ меньше, стоимость выше, чем у Hydrogen, а время на один вопрос почти втрое больше, чем у Hydrogen, — в этом сравнении у него нет явного преимущества.
Что показала корректировка: качество данных Neon недооценивали
Это исправление — позитивная информация для Neon. Исходное правило ошибочно оценило именно задачи на качество данных, а Neon получил неверную оценку потому, что указал на реально существующие проблемы в данных. Для аналитических задач, где нужно находить грязные данные и выбросы, это говорит о том, что Neon обладает соответствующей способностью распознавания.
Однако корректировка влияет только на точность: стоимость и скорость Neon от этого не изменились. Plotly вручную проверил все 43 ответа Neon, благодаря чему этот максимальный балл вызывает больше доверия, чем автоматическая оценка, но позиция Neon по затратам от этого не изменилась.
Какие выводы можно использовать для выбора модели, а какие — нет
| Вывод | Можно ли напрямую использовать для выбора модели | Причина |
|---|---|---|
| В моделях Google для задач анализа данных в первую очередь стоит рассматривать Hydrogen | Да, но с оговоркой по сценарию | Рекомендация Plotly ограничена рамками его теста и выбора моделей Google |
| Точность Neon и Hydrogen сопоставима | Применять с осторожностью | Тест на одном примере; при повторных прогонах на других моделях оценки колебались вплоть до трёх задач |
| Стоимость Neon примерно в 2.7 раза выше, чем у Hydrogen | Можно использовать как относительный ориентир | Расчёт по тарифам OpenRouter на день прогона; фактические цены за единицу могут отличаться |
| Hydrogen быстрее Neon | Можно использовать как относительный ориентир | Время включает время запросов и зависит от условий теста |
| Hydrogen — лучшая среди всех моделей для анализа данных | Нет | В том же раунде межвендорный ориентир GPT-6.1 Sol оказался дешевле и быстрее |
| Neon — это обновление модели | Нет | Это исправление оценки; сама модель не менялась |
За чем стоит следить дальше
Оговоримся: ниже — прогнозы и направления для наблюдения, а не уже свершившиеся факты:
- Если Plotly позже опубликует результаты нескольких повторных прогонов, разрыв в пределах одной задачи между Neon и Hydrogen может измениться, и только тогда точность можно будет сравнивать надёжнее.
- Порядок по стоимости зависит от тарифов. Если цены моделей изменятся, порядок затрат при том же объёме задач тоже может измениться.
- В закрытых наборах задач тоже бывают ошибки правил. Эта правка напоминает читателю: при чтении обзора важно смотреть не только на итоговый балл, но и на то, публикует ли автор обзора исправления и процесс ручной проверки.
Для тех, кто сейчас выбирает модель для задач анализа данных, практический смысл этой новости такой: Neon больше не занижается правилами оценки, но в этом тесте Plotly Hydrogen среди моделей Google по-прежнему дешевле и быстрее.
Исправление до максимального балла у Gemini 4 Neon устранило ошибку оценки, а рекомендация Hydrogen обусловлена соотношением цены и качества — эти вещи не противоречат друг другу. Как говорит английская поговорка: «Price is what you pay; value is what you get» (цена — это то, что вы платите, ценность — это то, что вы получаете).
