Una subida vertiginosa de la puntuación no implica necesariamente mayor capacidad: el caso de Astra y los pesos de Qwen revela las trampas del truncamiento y la repetición al evaluar modelos de razonamiento, con una lista de 5 comprobaciones
Nota del autor: A partir de una revisión del experimento en el que Astra modificó los pesos de Qwen3.5-0.8B, explicamos la diferencia entre «responder mal» y «no terminar la respuesta» al evaluar modelos de razonamiento, y cómo desglosar los resultados según si hubo truncamiento. El 2 de noviembre, cuatro investigadores del MIT CSAIL publicaron la…