Um salto nas pontuações não significa necessariamente maior capacidade: as armadilhas de truncamento e repetição na avaliação de modelos de raciocínio a partir da alteração dos pesos do Qwen pela Astra, com checklist de 5 itens

Nota do autor: a partir da análise do experimento em que Astra modificou os pesos do Qwen3.5-0.8B, vamos esclarecer a diferença entre “responder errado” e “não terminar a resposta” na avaliação de modelos de raciocínio, além de mostrar como separar os resultados por truncamento.

Em 2 de novembro, quatro pesquisadores do MIT CSAIL publicaram o artigo “Faíscas de programação no espaço de pesos”. Segundo o texto, o GPT-6 Astra alterou apenas cerca de 0,016% dos parâmetros do Qwen3.5-0.8B, e a pontuação no MATH-500 subiu de 7,9% para 48,1%. Os resultados no GSM8K e no IFEval também cresceram bastante, e a notícia logo foi amplamente compartilhada como um marco da “IA modificando o cérebro de outra IA”.

Isso não é uma tentativa de desmerecer a pesquisa. O repositório público do estudo contém registros detalhados de 1.125 invocações. Ao recontar os resultados questão por questão, uma análise da imprensa chegou a uma conclusão mais modesta: quase todo o aumento na pontuação veio do fato de que “o modelo finalmente conseguiu terminar as respostas”, e não de que “o modelo ficou melhor em matemática”.

O valor central: não vamos voltar a discutir se houve RSI. Em vez disso, organizamos essa análise em um método reutilizável para avaliar modelos de raciocínio. A ideia é ajudar você a descobrir, ao escolher um modelo, ajustar seus parâmetros ou colocá-lo em produção, se uma mudança na pontuação reflete uma diferença de capacidade ou um truncamento causado por loops repetitivos.

Resumo dos fatos sobre a avaliação do modelo de raciocínio

Vamos começar pelos principais fatos relacionados à avaliação. Os dados abaixo vêm do blog original e de análises da mídia sobre o repositório público.

De onde vem o “truncamento” nas avaliações de modelos de raciocínio

Na primeira vez que Astra colocou o Qwen para resolver 96 exercícios, ele acertou apenas 11. Os outros 85 não foram necessariamente resolvidos de forma errada: em todos eles, o modelo atingiu o limite de comprimento sem parar. Ao analisar o final dos textos truncados em trechos de oito palavras, cerca de 95% do conteúdo era repetitivo. Das 11 questões em que o modelo terminou normalmente, todas foram respondidas corretamente.

Isso indica que a principal causa do baixo resultado de referência era “não conseguir entregar a prova”, e não “não saber resolver”. Vale destacar que, no primeiro comando dado a Astra, os pesquisadores já haviam incluído “ser truncado pelo limite de tokens, muitas vezes por repetir o próprio raciocínio” como um dos tipos de falha, e citaram “corrigir o que causa a repetição” como exemplo de melhoria válida. O relatório final de Astra também deixou claro que o alvo era a repetição, não o conhecimento matemático.

Análise dos dados de avaliação do modelo de raciocínio: todo o ganho veio das questões truncadas

O dado mais convincente da análise vem de um teste pareado, antes e depois da alteração, com 1,152 questões de prática reservadas para avaliação. Ao dividir as questões conforme tenham sido truncadas ou não originalmente, o resultado fica claro.

Outro detalhe fácil de passar despercebido: antes da alteração, apenas 7 questões foram concluídas com resposta errada; depois, esse número subiu para 245. Quando os loops pararam, os erros de cálculo do modelo ficaram visíveis. No MATH-500 oficial, o comprimento médio das respostas caiu de 30,868 para 22,037 tokens. Essa redução também se concentrou nas respostas que antes atingiam o limite.

Validando as conclusões com um modelo de comparação

Os pesquisadores também perceberam isso e fizeram o mesmo experimento com o Gemma 3 270M. A comparação entre os dois testes mostra como “remover um obstáculo” e “aumentar a capacidade” são coisas diferentes.

O próprio post original reconhece: alterar os pesos pode remover um obstáculo que bloqueia uma capacidade, mas não acrescenta capacidades que o modelo não possui. Para quem avalia modelos, a lição é: um mesmo “grande salto na pontuação” pode ter significados completamente diferentes, dependendo da estrutura das falhas.

A armadilha dos parâmetros na avaliação de modelos de raciocínio: temperatura e modo de raciocínio

Há outro ponto dessa controvérsia que costuma passar despercebido: a própria configuração da avaliação pode induzir loops. As informações do cartão oficial do modelo Qwen3.5-0.8B, citadas na análise do caso, diferem das configurações usadas pelos pesquisadores.

Vale esclarecer que as informações acima sobre o cartão do modelo foram reproduzidas a partir de uma análise da imprensa. Antes de fazer uma avaliação, confira diretamente o cartão oficial do Qwen. O ponto central é metodológico: para um mesmo modelo, basta mudar os parâmetros de amostragem para que a “linha de base” seja completamente diferente. Se essa linha de base foi medida com configurações propensas a loops, qualquer alteração que faça o modelo “conseguir parar” vai parecer um salto de capacidade.

Checklist para avaliar modelos de raciocínio: separe os casos truncados antes de tirar conclusões

As lições desta análise podem ser transformadas em um processo de avaliação aplicável a qualquer modelo de raciocínio. Seja para escolher um modelo, ajustar parâmetros ou validar uma mudança no ajuste fino ou no comando, confira cada item da tabela.

🎯 Dica de avaliação: na comparação entre modelos, uma das partes mais trabalhosas é escrever código de invocação separado para cada fornecedor. Com a interface compatível com OpenAI da APIYI, em apiyi.com, você pode invocar modelos populares de vários fornecedores com o mesmo script e o mesmo conjunto de comandos e parâmetros. Assim, fica fácil incluir a “taxa de truncamento” como uma coluna fixa nas estatísticas.

Script de avaliação de modelos de raciocínio: exemplo mínimo

O código abaixo calcula a proporção de questões cujas respostas foram truncadas pelo limite de comprimento. Quando finish_reason é length, significa que a resposta atingiu o limite de max_tokens:

import openai

client = openai.OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apiyi.com/v1"  # Interface da APIYI compatível com OpenAI
)

questions = ["计算 17 * 23 的结果", "求 1 到 100 的整数和"]
truncated = 0
for q in questions:
    r = client.chat.completions.create(
        model="your-thinking-model",  # Substitua pelo nome do modelo usado
        messages=[{"role": "user", "content": q}],
        max_tokens=4096,
    )
    if r.choices[0].finish_reason == "length":
        truncated += 1
print(f"截断率: {truncated / len(questions):.1%}")

import openai
from collections import Counter

client = openai.OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apiyi.com/v1"
)

def tail_repetition_ratio(text: str, n: int = 8, tail_words: int = 400) -> float:
    """Calcula a proporção de n-gramas repetidos no final do texto (para chinês, pode-se dividir por caracteres)"""
    words = text.split()[-tail_words:]
    if len(words) < n * 2:
        return 0.0
    grams = [tuple(words[i:i + n]) for i in range(len(words) - n + 1)]
    counts = Counter(grams)
    repeated = sum(c for c in counts.values() if c > 1)
    return repeated / len(grams)

def evaluate(dataset, model, temperature, max_tokens, judge):
    """dataset: [(question, answer)], judge: função que verifica se a resposta está correta"""
    stats = {"done": [0, 0], "truncated": [0, 0], "loop": 0}
    for q, ans in dataset:
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": q}],
            temperature=temperature,
            max_tokens=max_tokens,
        )
        choice = r.choices[0]
        text = choice.message.content or ""
        group = "truncated" if choice.finish_reason == "length" else "done"
        stats[group][0] += 1
        stats[group][1] += int(judge(text, ans))
        if group == "truncated" and tail_repetition_ratio(text) > 0.5:
            stats["loop"] += 1

    for g in ("done", "truncated"):
        total, correct = stats[g]
        rate = correct / total if total else 0
        print(f"{g}: {total} 题，正确率 {rate:.1%}")
    t = stats["truncated"][0]
    print(f"截断题中疑似循环: {stats['loop']} / {t}")
    return stats

Os parâmetros para ativar ou desativar o modo de raciocínio variam entre os modelos: alguns usam um campo na requisição, outros são distinguidos pelo nome do modelo e outros dependem do template do comando. Se o conteúdo do raciocínio conta para max_tokens ou é retornado separadamente também depende do modelo. Antes de avaliar, consulte a documentação de cada um.

🚀 Comece rapidamente: se quiser apenas validar essa forma de separar os resultados, cadastre-se na APIYI apiyi.com e use os créditos gratuitos de teste. Escolha dois ou três modelos de raciocínio, execute algumas dezenas de questões e compare primeiro as taxas de truncamento. Depois, decida se vale ampliar a avaliação.

Análise dos impactos do caso de avaliação de modelos de raciocínio

Impactos para desenvolvedores

• A pontuação geral já não é suficiente: olhar apenas para a taxa geral de acerto mistura respostas incompletas com respostas erradas. Antes do lançamento, o relatório de avaliação deve incluir pelo menos a taxa de truncamento e a taxa de acerto por grupo.
• O ganho com ajustes de parâmetros pode ser mal interpretado: aumentar o limite de saída, ajustar a temperatura ou adicionar uma penalidade por repetição pode melhorar bastante a pontuação. Mas isso é apenas “remover obstáculos”, não significa que o modelo mudou.
• O ambiente de produção também é afetado: o truncamento observado na avaliação pode se manifestar em produção como respostas longas demais, custos fora de controle e usuários esperando. O próprio cartão do modelo recomenda usar saída em streaming com detecção de loops e truncamento antecipado.

Impactos para a pesquisa em avaliação de modelos

• “Grandes melhorias” exigem evidências mais detalhadas: essa análise mostrou que um resultado que parece um salto de capacidade pode ser apenas a correção de um bug, quando os dados são separados por truncamento. Daqui em diante, vale questionar como a taxa de truncamento mudou em qualquer alegação de melhoria em modelos pequenos ou modelos de raciocínio.
• O desenho dos grupos de controle ganha importância: tanto o experimento complementar com o Gemma 3 270M quanto o controle com direção aleatória feito pela própria Astra (cujo resultado variou apenas cerca de 1,5 ponto percentual) mostram que o desenho dos controles é fundamental para distinguir sinais reais de ruído.

Perguntas frequentes (FAQ)

Principais pontos da avaliação de modelos de raciocínio

• Origem do ganho: nas 114 questões que o Qwen respondeu por completo, a taxa de acerto foi de 93,9% antes e depois da alteração; todo o ganho veio das respostas truncadas
• Tipo de falha: 93% das respostas na avaliação de referência atingiram o limite de tokens, e cerca de 95% do trecho final era repetitivo
• Diferença nos parâmetros: a temperatura de 0,6 usada na avaliação não corresponde à temperatura de 1,0 recomendada no model card para textos de raciocínio
• Evidência de controle: o Gemma 3 270M teve uma taxa de truncamento baixa e, após a alteração dos pesos, melhorou menos de 1 ponto percentual no MATH-500
• Método principal: primeiro, separar as respostas truncadas por finish_reason; depois, comparar as taxas de acerto
• Como começar: use a interface unificada da APIYI apiyi.com para medir o truncamento de vários modelos com os mesmos parâmetros

Resumo

A polêmica sobre a “alteração dos pesos do Qwen pela Astra” serve de alerta para quem avalia modelos de raciocínio:

1. Detalhe os aumentos expressivos de pontuação: agrupe as respostas conforme tenham ou não atingido o limite de tokens e veja de qual grupo veio o ganho
2. Os parâmetros fazem parte da referência: confira a temperatura, a ativação do raciocínio e o limite de saída no model card e registre tudo no relatório
3. Diferencie a remoção de obstáculos do aumento de capacidade: use um modelo de controle com baixa taxa de truncamento para verificar a verdadeira natureza da melhoria

Da próxima vez que encontrar a conclusão de que “uma alteração multiplicou o desempenho”, faça primeiro esta pergunta: quanto mudou a taxa de truncamento? Muitas vezes, ela revela mais do que a pontuação geral.

Se você está preparando a avaliação de alguns modelos de raciocínio antes de colocá-los em produção, vale usar a APIYI apiyi.com para medir a taxa de truncamento com os mesmos scripts e parâmetros antes de decidir qual modelo escolher.

📚 Referências

1. Análise retrospectiva do Silicon Star Pro (republicada pelo 36氪): O viral “Astra reformula o cérebro do Qwen” tem pouco a ver com a RSI que buscamos
2. Link: 36kr.com/p/4056494372181124

3. Descrição: Dados de testes pareados recalculados com base nos registros de cada questão no repositório público; principal fonte dos dados deste artigo

4. Blog de um pesquisador do MIT CSAIL: Sparks of Weight-Space Programming

5. Descrição: Descrição original dos experimentos e tabela de resultados. Vale consultar a configuração do experimento 8 no texto original

6. Cartão oficial do modelo Qwen3.5-0.8B: Parâmetros de amostragem e explicação do modo de raciocínio

7. Descrição: Consulte para verificar o estado padrão do modo de raciocínio, a temperatura recomendada e as orientações para lidar com loops

Autor: Equipe técnica da APIYI
Contato técnico: Fale conosco pelo site oficial da APIYI, em apiyi.com. Para mais informações sobre invocação, acesse a documentação em docs.apiyi.com