Um salto nas pontuações não significa necessariamente maior capacidade: as armadilhas de truncamento e repetição na avaliação de modelos de raciocínio a partir da alteração dos pesos do Qwen pela Astra, com checklist de 5 itens
Nota do autor: a partir da análise do experimento em que Astra modificou os pesos do Qwen3.5-0.8B, vamos esclarecer a diferença entre “responder errado” e “não terminar a resposta” na avaliação de modelos de raciocínio, além de mostrar como separar os resultados por truncamento. Em 2 de novembro, quatro pesquisadores do MIT CSAIL publicaram o…