Разбор бенчмарка GPT-6.2 Astra: DataAnalyticsBench — 41 из 43 задач, стоимость снижена примерно на 79%

Разбор бенчмарка GPT-6.2 Astra: DataAnalyticsBench — 41 из 43 задач, стоимость снижена примерно на 79%

gpt-6-2-astra-dataanalyticsbench-score-analysis-ru-image-0

Главный вывод: в реальном тесте DataAnalyticsBench от Plotly GPT-6.2 Astra прошла 41 из 43 задач по анализу данных. У предыдущего поколения, GPT-6 Astra, результат был 43/43. Оба провала — в категории «скрытые закономерности», остальные пять категорий пройдены полностью. При этом стоимость всего прогона снизилась с $19.97 до $4.11, а медианное время на задачу сократилось с 26.9 секунды до 12.4 секунды. Новая Astra ценой двух задач получила менее четверти прежних затрат и менее половины времени ожидания — но действительно ли она стала хуже в проактивном поиске аномалий, пока судить рано: есть только один прогон, и проверять это нужно на собственных данных.

Что вы узнаете из этой статьи?

  • Что именно измеряет DataAnalyticsBench, как он ставит оценки и где проходят границы результата 41/43.
  • Баллы по каждой из шести категорий задач и то, как именно провалились две задачи.
  • Два источника снижения стоимости примерно на 79% — уменьшение тарифа и сокращение объёма работы, — и сколько даёт каждый.
  • Компромиссы между GPT-6.2 Astra и GPT-6 Astra, GPT-6.1 Sol, GPT-6.2 Sol по баллам, стоимости и задержке.
  • Готовый к адаптации метод повторного теста и код на Python, чтобы проверить выводы на собственном хранилище данных.

Навигация: таблица To Know поясняет специальные понятия бенчмарка, а краткий обзор последствий по категориям читателей объясняет, что эта новость значит для каждой из них. В разделе «Объективные факты» последовательно описаны тестовая среда и правила оценки, результаты по шести категориям, данные о стоимости и времени, а также официальная идентификация модели и ценовые параметры от OpenAI. В разделе «Анализ и выводы» разбирается смысл 41/43, выдвигаются гипотезы, объясняющие провал на задачах со скрытыми закономерностями, раскладывается по источникам снижение стоимости, а также даются рекомендации по выбору модели и код для повторного теста.


GPT-6.2 Astra DataAnalyticsBench: что нужно знать заранее

Понятие Краткое объяснение
DataAnalyticsBench 43 задачи по анализу хранилища данных, разработанные исследователями из Plotly и Mila; проверяют аналитические способности модели на смоделированных данных эксплуатации ветропарка
Среда тестирования Система оценки, которая даёт каждой модели одинаковое хранилище данных и инструменты только для чтения: запросы, построение графиков, отображение таблиц
Правила оценки Для каждой задачи заранее определено, какой ответ считается достаточным; ставится только «зачёт / незачёт», частичные баллы не начисляются
Проблемы качества данных Пропуски, дубликаты, аномальные записи и другие проблемы во входных данных, влияющие на выводы анализа; в задачи они внедрены намеренно
Статистические ловушки Задачи, в которых интуитивный алгоритм или способ агрегации может привести к неверным выводам
Скрытые закономерности Аномальные паттерны или причины, не указанные в условии, которые модель должна выявить самостоятельно
Медианное время на задачу Фактическое время прохождения всех 43 задач сортируется, берётся серединное значение; в этом рейтинге учитывается время запросов к инструментам
Стоимость полного раунда Суммарная стоимость вызовов одной модели на выполнение всех 43 задач
Попадания в кэш Та часть входных токенов, которая после серверного кэширования повторяющихся входных префиксов тарифицируется по более низкой цене

Краткий обзор: как оценки GPT-6.2 Astra в DataAnalyticsBench влияют на разные группы

  • Тем, кто выбирает API: у GPT-6.2 Astra заметно улучшились удельная стоимость и скорость отклика, поэтому для типовых задач вроде обычной отчётности и уточнения трактовки показателей её можно смело ставить в приоритет. А вот для задач поиска аномалий пока не стоит напрямую переносить выводы из рейтинга.
  • Разработчикам data-продуктов: когда делаешь продукты вроде «запросов к данным на естественном языке» или BI-ассистентов, снижение медианной задержки вдвое очень сильно сказывается на интерактивном опыте. Но отдельно стоит оценить «терпение» модели при многошаговом исследовании — при необходимости принудительно добавляйте шаги проверки в промпт или рабочий процесс.
  • Аналитическим командам: модель можно воспринимать как более быстрого аналитика, который готовит черновик, но выводы по расследованиям первопричин всё равно требуют ручной проверки. Если использовать агрегирующий интерфейс с совместимостью с OpenAI, такой как APIYI apiyi.com, можно в одном и том же коде переключать четыре модели для сравнительного тестирования.

Объективные факты о GPT-6.2 Astra DataAnalyticsBench

Сценарии тестирования и правила оценки GPT-6.2 Astra

DataAnalyticsBench разработан исследователями Plotly и Mila и использует имитационное хранилище данных по эксплуатации ветроэнергетики. В хранилище 44 таблицы, около 19,9 млн строк и 554 столбца — телеметрия оборудования, алерты, рабочие заявки, результаты осмотров и погодные данные. Каждое задание выполняется в Plotly Studio Embedded, а модель вызывается через OpenRouter. В распоряжении модели всего четыре инструмента, и все они только для чтения: вывести список наборов данных, выполнить SQL, построить график, показать таблицу.

Модель сама решает, по какому пути идти в запросах и когда давать ответ: организаторы не планируют шаги за неё. Это значит, что проверяют не только умение писать SQL, но и способность понять, «на каком шаге собранных данных уже достаточно».

С оценкой всё строго: каждое задание проверяется по ключу ответов и правилам оценки, результат — либо «сдано», либо «не сдано», частичных баллов нет. Модель-судья — Claude Sonnet 5 с температурой 0. Организаторы независимо генерируют ответы тремя способами — через SQL, pandas и Polars — и перекрёстно сверяют их, вручную разбирают траектории проваленных попыток и проверяют результаты с максимальным баллом. Для двух типов особых заданий есть чёткие условия прохождения:

  • Неоднозначные задания: модель проходит, если уточняет вопрос либо явно оговаривает допущения и предлагает альтернативное решение.
  • Задания, на которые данных нет: достаточно точно указать ограничения имеющихся данных.

У банка заданий тоже есть чёткие границы: одна предметная область (эксплуатация ветроэнергетики), английский язык, одна и та же тестовая среда, каждая модель прогоняется только один раз. Задания, данные и ключи ответов остаются у организаторов и публично не раскрываются.

Источник: Plotly, Introducing DataAnalyticsBench, опубликовано 2026-10-14, обновлено 2026-11-19, plotly.com/blog/introducing-dataanalyticsbench/

gpt-6-2-astra-dataanalyticsbench-score-analysis-ru-image-1

Пояснение к схеме: такую структуру — «модель сама планирует запросы + инструменты только для чтения + проверка каждого задания по принципу „сдано / не сдано“» — можно приблизительно воспроизвести у себя, используя OpenAI-совместимый интерфейс APIYI apiyi.com, и провести внутренний контрольный тест.

GPT-6.2 Astra: баллы по шести типам задач — потери сосредоточены в скрытых закономерностях

Специальный отчёт по Astra, опубликованный Plotly 17 ноября 2026 года, приводит баллы по категориям:

Тип задачи GPT-6.2 Astra GPT-6 Astra Что проверяется
Стандартный анализ 20/20 20/20 Многошаговые SQL-запросы, соединения таблиц и временные интервалы
Разрешение неоднозначности 5/5 5/5 Уточнить трактовку или явно указать разумные допущения
Вопросы, на которые нет ответа в данных 5/5 5/5 По имеющимся данным распознать вопросы, на которые нельзя ответить
Качество данных 3/3 3/3 Обнаружить внедрённые проблемы качества
Статистические ловушки 5/5 5/5 Распознать, как интуитивно очевидный алгоритм может вводить в заблуждение
Скрытые закономерности 3/5 5/5 Самостоятельно отследить аномальные закономерности, о которых прямо не сказано
Итого 41/43 43/43 Все задачи с равным весом, каждая проверяется отдельно

Первые пять категорий дают в сумме 38/38 — оба поколения показали полностью одинаковый результат. Вся разница приходится на задачи со скрытыми закономерностями: новое поколение — 3/5, предыдущее — 5/5.

Обе задачи, где были потеряны баллы, прошли ручную проверку в Plotly, и провалились они по-разному:

  1. В одной задаче модель так и не нашла внедрённую закономерность.
  2. В другой модели нашла место, которое стоило исследовать, но отбросила настоящую причину.

В отчёте есть ещё одно наблюдение о процессе: на задачах со скрытыми закономерностями GPT-6.2 Astra в среднем выполняла около 9 запросов к базе на задачу, а GPT-6 Astra — около 15.

Источник: Plotly, GPT-6.2 Astra Benchmark Results for Data Analysis, 2026-11-17, plotly.com/blog/gpt-6-2-astra-plotly-data-analytics-bench/

Расходы и время GPT-6.2 Astra: два поколения и модели того же производителя

gpt-6-2-astra-dataanalyticsbench-score-analysis-ru-image-2

Модель Балл Стоимость полного прогона Медианное время на задачу
GPT-6.2 Astra 41/43 $4.11 12.4 секунды
GPT-6 Astra 43/43 $19.97 26.9 секунды
GPT-6.1 Sol 43/43 $2.61 17.6 секунды
GPT-6.2 Sol 40/43 $1.22 10.5 секунды

Если считать по исходной таблице, у GPT-6.2 Astra стоимость полного прогона упала примерно на 79.4% по сравнению с предыдущим поколением, а медианное время на задачу сократилось примерно на 53.9%. В собственных замерах автора полный прогон 6.2 Astra занял около 13 минут, а у предыдущего поколения — около 32 минут. Время здесь — это фактически прошедшее время с учётом запросов к инструментам, а не чистое время инференса модели.

Стоимость одной задачи считают двумя способами, и их надо различать: $4.11 ÷ 43 даёт примерно $0.096 на задачу в среднем; в обновлённом общем рейтинге значение $0.066 указано как медиана стоимости одной задачи в этом прогоне. Среднее выше медианы — значит, несколько задач стоили заметно дороже остальных и подтянули среднее вверх.

Plotly также приводит детализацию объёма работы для исходных прогонов обоих поколений:

Показатель объёма работы GPT-6 Astra (предыдущее поколение) GPT-6.2 Astra
Количество вызовов инструментов 266 148
Количество вызовов модели 249 171
Входные токены около 9.1 млн около 4.4 млн
Выходные токены около 78 тыс. около 34 тыс.
Доля попаданий в кэш входных токенов 93% 98%

Plotly пересчитал прежний объём использования предыдущего поколения по новым тарифам и получил оценку около $11. Важно: эти расходы взяты из цен OpenRouter на момент тестирования Plotly, а не выведены напрямую из официального прайс-листа OpenAI.

Источник: специальный отчёт Plotly об Astra plotly.com/blog/gpt-6-2-astra-plotly-data-analytics-bench/; общий рейтинг Plotly plotly.com/blog/introducing-dataanalyticsbench/#full-results

Идентификация модели GPT-6.2 Astra и официальные ценовые параметры

OpenAI выпустила GPT-6.2 Astra и GPT-6.2 Sol 17 ноября 2026 года. Astra предназначена для сложных рассуждений, программирования и профессиональных задач; ID модели в API — gpt-6.2-astra. Оценки из анонса OpenAI отражают позицию самого производителя, а DataAnalyticsBench от Plotly — это отдельный сторонний бенчмарк; эти результаты нельзя смешивать при сравнении.

Согласно карточке модели, Astra принимает на вход текст и изображения, а на выходе выдаёт текст; контекстное окно составляет 1,050,000 токенов, максимальный объём ввода — 922,000 токенов, максимальный объём вывода — 128,000 токенов. Она поддерживает как Responses API, так и Chat Completions API; такие возможности, как встроенные инструменты, Multi-agent и окно фоновых завершений, реализуются через Responses API. В карточке модели также указано, что запросы, в которых reasoning.effort установлен в none, отклоняются.

Стандартная цена OpenAI для короткого контекста и чисто текстовых запросов (за миллион токенов) составляет: обычный ввод — $8, ввод с попаданием в кэш — $0.40, вывод — $40. По данным OpenAI, по сравнению с предыдущим поколением цена обычного ввода и вывода снижена на 20%, а цена ввода с попаданием в кэш — на 60%.

Источники: анонс OpenAI openai.com/index/introducing-gpt-6-2-astra-sol/; карточка модели developers.openai.com/api/docs/models/gpt-6.2-astra; журнал изменений API developers.openai.com/api/docs/changelog; таблица цен developers.openai.com/api/docs/pricing

GPT-6.2 Astra DataAnalyticsBench: аналитические выводы

Как читать 41/43: это не «общее ослабление»

Если разложить 41/43 по категориям, GPT-6.2 Astra не потеряла баллов в пяти типах задач: стандартный анализ, неоднозначность, вопросы без ответа, качество данных и статистические ловушки. Эти пять категорий покрывают большую часть повседневных отчётов и сверки определений. Если бизнес в основном сталкивается именно с такими задачами, то по данным этого раунда качество нового Astra сопоставимо с предыдущим поколением, а стоимость и скорость заметно лучше.

Разрыв в два балла стоит рассматривать в пределах диапазона колебаний. Plotly сообщает, что при повторных прогонах других моделей наблюдались колебания до трёх задач. Поэтому 41 против 43 уместнее воспринимать как «наблюдение этого раунда», а не как стабильную разницу в возможностях. Более точная формулировка: в категории скрытых закономерностей появился сигнал, за которым стоит следить, но одного раунда данных недостаточно, чтобы подтвердить деградацию.

Почему задачи на скрытые закономерности стоит перепроверять: объяснительная гипотеза о глубине исследования

Дальше — объяснительная гипотеза на основе данных отчёта, а не выводы Plotly. На задачах со скрытой закономерностью новое поколение делает в среднем около 9 запросов на задачу, предыдущее — около 15. Из двух проваленных задач одна — «не нашёл», другая — «нашёл место, но отбросил истинную причину». Обе выглядят как «остановился, не копнув достаточно глубоко»: в первом случае не хватило охвата поиска, во втором — на этапе проверки слишком рано был сделан отрицательный вывод.

Это может объясняться тем же изменением поведения, что и падение стоимости и задержки: модель склонна отвечать после меньшего числа запросов. На обычных задачах эта склонность напрямую превращается в эффективность; на задачах поиска корневой причины, где нужны повторные гипотезы и проверки, она может стать риском. Чтобы проверить эту гипотезу, нужно на своих данных сопоставить число запросов с процентом прохождения, а не смотреть только на итоговый балл.

Почему у GPT-6.2 Astra стоимость и скорость снизились одновременно

Падение с $19.97 до $4.11 можно разбить на два этапа, опираясь на пересчитанные данные Plotly:

  1. Тарифный фактор: если пересчитать прежний объём использования по новым тарифам, получится около $11, то есть только за счёт снижения цен стоимость падает примерно с $19.97 до $11 — на ~45%. Официальная цена кэшированного ввода ниже на 60%, и при доле попаданий в кэш 93–98% этот эффект особенно заметен.
  2. Фактор объёма работы: путь от ~$11 до $4.11 — это сокращение объёма работы. Вызовы инструментов снизились с 266 до 148, входные токены — с ~9,1 млн до ~4,4 млн, выходные токены сократились более чем вдвое, доля попаданий в кэш выросла с 93% до 98%.

Грубый расчёт нового объёма по официальным ценам даёт тот же порядок величины — около $4.11: из ~4,4 млн входных токенов 98% идут по цене кэша, остальные — по обычной цене ввода, плюс ~34 тыс. выходных токенов. Это показывает, что в таких сценариях анализа данных с длинным контекстом и многократными вызовами инструментов доля попаданий в кэш и число раундов вызова могут влиять на стоимость сильнее, чем сама цена за токен. Со скоростью то же самое: меньше запросов, меньше вызовов модели — время выполнения естественно сокращается.

💰 Совет по стоимости: при оценке затрат на такие агентские задачи фиксируйте токены с попаданием в кэш и число раундов вызова инструментов, а не смотрите только на прайс-лист. При оплате по факту через APIYI apiyi.com сверяйте поля usage в счёте и логах, чтобы проверить, работает ли кэширование.

Выбор между GPT-6.2 Astra, GPT-6.1 Sol и GPT-6.2 Sol

У четырёх моделей разные позиции:

  • GPT-6.1 Sol: при этих настройках за $2.61 получает 43/43 — это самый дешёвый вариант среди «максимальных баллов» в этом раунде, но платить за это приходится медианным временем 17.6 секунды, что медленнее, чем у GPT-6.2 Astra.
  • GPT-6.2 Astra: 41/43, $4.11, 12.4 секунды; преимущество появляется, когда балл и скорость оценивают вместе. Если смотреть только на стоимость и балл, модель не выигрывает.
  • GPT-6.2 Sol: $1.22, 10.5 секунды — самая дешёвая и быстрая, но балл 40/43 у неё самый низкий.
  • GPT-6 Astra: максимальный балл, но стоимость и задержка заметно выше; в этой группе сравнения уже трудно найти повод выбрать её первой.

Разница в баллах между ними находится в пределах колебаний до трёх заданий, о которых упоминает Plotly. Это значит, что только по общему баллу трудно выстроить надёжный порядок; действительно надёжные критерии для различения — стоимость и задержка. На практике интерактивные продукты для запросов к данным чувствительны к задержке, поэтому в первую очередь стоит сравнивать GPT-6.2 Astra и GPT-6.2 Sol; офлайн-пакетный анализ к задержке нечувствителен, и для него важнее посмотреть на соотношение цены и качества у GPT-6.1 Sol.

Как перепроверить GPT-6.2 Astra на собственных данных

Описанная ниже методика перепроверки — это редакционная рекомендация. DataAnalyticsBench покрывает только эксплуатацию ветроэнергетики, английский язык и одну среду, что сильно отличается от реального хранилища данных большинства команд. Более надёжный подход — собрать небольшой набор задач на собственных данных, зафиксировать данные, инструменты и промпты, прогонять несколько раундов и отдельно подсчитывать результаты по разным типам задач.

Подмножество Рекомендуемый объём Что фиксировать Для чего использовать
Обычные отчёты 15–20 задач доля успешных ответов, медианная задержка можно ли спокойно передавать модели повседневные запросы к данным
Неоднозначные определения около 5 задач уточняет ли модель активно или объясняет допущения чтобы не было «молчаливого выбора одного определения»
Статистические смещения около 5 задач распознаёт ли ловушки вроде парадокса Симпсона достоверность выводов
Корневые причины аномалий 5–8 задач доля успешных ответов, число запросов, задержка P90 сигнал о потерях баллов на задачах со скрытыми закономерностями
Все задачи — общая стоимость каждого раунда, доля попаданий в кэш бюджет затрат

Каждую модель рекомендуется прогонять не менее 3 раундов, записывая средние значения и разброс. Отдельно нужно фиксировать хвостовую задержку (P90): хорошая медиана ещё не значит, что самые медленные задачи приемлемы.

Ниже — минимальный пример вызова. ID модели взят из опубликованного OpenAI gpt-6.2-astra; список доступных моделей смотрите на платформе:

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apiyi.com/v1"
)

resp = client.chat.completions.create(
    model="gpt-6.2-astra",
    reasoning_effort="medium",  # в карточке модели указано, что запросы с effort = none будут отклонены
    messages=[{"role": "user", "content": "上月各风场故障工单数环比变化最大的是哪个?请说明计算口径。"}],
)
print(resp.choices[0].message.content)
Посмотреть полный скрипт перепроверки: статистика по подмножествам с долей успешных ответов, стоимостью и задержками P50/P90
import time
import statistics
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apiyi.com/v1"
)

MODELS = ["gpt-6.2-astra", "gpt-6-astra", "gpt-6.1-sol", "gpt-6.2-sol"]

# Собственный набор задач: category соответствует подмножеству из таблицы повторного теста,
# checker реализуете сами по ключу ответов
TASKS = [
    {"id": "r01", "category": "常规报表", "prompt": "...", "checker": lambda a: "..." in a},
    {"id": "h01", "category": "异常根因", "prompt": "...", "checker": lambda a: "..." in a},
]

# Официальная цена при прямом подключении (USD за миллион токенов), только для грубой оценки;
# по факту ориентируйтесь на счёт платформы
PRICE = {"input": 8.0, "cached": 0.40, "output": 40.0}

def estimate_cost(usage):
    cached = getattr(getattr(usage, "prompt_tokens_details", None), "cached_tokens", 0) or 0
    fresh = usage.prompt_tokens - cached
    return (fresh * PRICE["input"] + cached * PRICE["cached"]
            + usage.completion_tokens * PRICE["output"]) / 1_000_000

def p90(values):
    values = sorted(values)
    return values[max(0, int(len(values) * 0.9) - 1)]

def run(model, rounds=3):
    stats = {}
    for _ in range(rounds):
        for t in TASKS:
            start = time.perf_counter()
            resp = client.chat.completions.create(
                model=model,
                reasoning_effort="medium",
                messages=[{"role": "user", "content": t["prompt"]}],
            )
            elapsed = time.perf_counter() - start
            answer = resp.choices[0].message.content or ""
            s = stats.setdefault(t["category"], {"pass": 0, "n": 0, "lat": [], "cost": 0.0})
            s["n"] += 1
            s["pass"] += int(t["checker"](answer))
            s["lat"].append(elapsed)
            s["cost"] += estimate_cost(resp.usage)
    for cat, s in stats.items():
        print(f"{model} | {cat} | 通过率 {s['pass']}/{s['n']} | "
              f"P50 {statistics.median(s['lat']):.1f}s | P90 {p90(s['lat']):.1f}s | "
              f"估算费用 ${s['cost']:.3f}")

for m in MODELS:
    run(m)

Этот скрипт делает только один раунд «вопрос — ответ». Чтобы приблизиться к условиям DataAnalyticsBench, нужно ещё подключить SQL-инструмент с доступом только на чтение, дать модели самой выполнять несколько раундов запросов и дополнительно фиксировать по каждой задаче число вызовов инструмента — так можно проверить гипотезу из предыдущей части о «количестве запросов и потерянных баллах».

🎯 Совет по повторному тесту: все четыре модели работают по протоколу, совместимому с OpenAI, и через APIYI apiyi.com переключаются одним и тем же API-ключом. Бесплатного пробного лимита для новых пользователей вполне хватит, чтобы сначала прогнать один небольшой набор задач, а потом уже решать, расширять ли масштаб.

Рейтинг подсказывает направление. Но когда речь заходит о собственном хранилище данных и собственных типах аномалий, ответ можно получить только самому, запустив тесты. Лу Ю в стихотворении «Ночное чтение при свече — наставление сыну Цзыюю» писал: «Всё, что взято с бумаги, всегда поверхностно; чтобы постичь суть дела, нужно делать его самому».


Автор: техническая команда APIYI
Связь по техническим вопросам: будем рады, если напишете нам через главную страницу APIYI apiyi.com; больше материалов по подключению — в центре документации docs.apiyi.com

Читайте также

Похожие записи