Stark steigende Punktzahlen bedeuten nicht unbedingt bessere Fähigkeiten: Was Astras Anpassung der Qwen-Gewichte über Abschneide- und Wiederholungsfallen bei der Bewertung von Reasoning-Modellen zeigt – mit 5-Punkte-Checkliste
Anmerkung des Autors: Ausgehend von einer Nachanalyse des Experiments, bei dem Astra die Gewichte von Qwen3.5-0.8B verändert hat, erklären wir den Unterschied zwischen „falsch beantwortet“ und „nicht zu Ende geschrieben“ bei der Bewertung von Reasoning-Modellen – und zeigen, wie sich Ergebnisse nach abgeschnittenen und vollständigen Antworten aufschlüsseln lassen. Am 2. November veröffentlichten vier Forschende des…