Stark steigende Punktzahlen bedeuten nicht unbedingt bessere Fähigkeiten: Was Astras Anpassung der Qwen-Gewichte über Abschneide- und Wiederholungsfallen bei der Bewertung von Reasoning-Modellen zeigt – mit 5-Punkte-Checkliste

Anmerkung des Autors: Ausgehend von einer Nachanalyse des Experiments, bei dem Astra die Gewichte von Qwen3.5-0.8B verändert hat, erklären wir den Unterschied zwischen „falsch beantwortet“ und „nicht zu Ende geschrieben“ bei der Bewertung von Reasoning-Modellen – und zeigen, wie sich Ergebnisse nach abgeschnittenen und vollständigen Antworten aufschlüsseln lassen.

Am 2. November veröffentlichten vier Forschende des MIT CSAIL den Blogbeitrag „Funken des Programmierens im Gewichtsraum“. Darin berichten sie, dass GPT-6 Astra nur rund 0,016 % der Parameter von Qwen3.5-0.8B verändert habe und das Ergebnis bei MATH-500 daraufhin von 7,9 % auf 48,1 % gestiegen sei. Auch bei GSM8K und IFEval legte das Modell deutlich zu. Der Beitrag wurde daraufhin vielfach als Meilenstein für „KI verändert das Gehirn einer KI“ geteilt.

Es geht nicht darum, die Studie infrage zu stellen. Das öffentliche Repository enthält detaillierte Protokolle zu 1.125 Aufrufen. Bei einer erneuten Auswertung der einzelnen Aufgaben kam eine journalistische Nachanalyse zu einem nüchterneren Schluss: Der Punkteanstieg war fast vollständig darauf zurückzuführen, dass „das Modell seine Antworten endlich zu Ende schreiben konnte“ – nicht darauf, dass es „besser in Mathematik geworden war“.

Der Nutzen dieses Artikels: Wir diskutieren nicht erneut, ob RSI erreicht wurde. Stattdessen leiten wir aus der Nachanalyse eine wiederverwendbare Methode zur Bewertung von Reasoning-Modellen ab. Sie hilft dir bei der Modellauswahl, beim Feintuning oder vor dem Produktiveinsatz zu beurteilen, ob eine Punktzahländerung auf unterschiedliche Fähigkeiten zurückgeht – oder auf abgeschnittene Antworten durch Wiederholungsschleifen.

Die wichtigsten Fakten zum Test des Denkmodells

Hier zunächst die zentralen Fakten zum Test. Die Angaben stammen aus dem ursprünglichen Blogbeitrag und Medienanalysen des öffentlichen Repositorys.

Woher kommt das „Abschneiden“ beim Test von Denkmodellen?

Als Astra Qwen erstmals 96 Übungsaufgaben bearbeiten ließ, beantwortete das Modell nur 11 richtig. Die übrigen 85 waren nicht etwa falsch berechnet: Bei allen erreichte die Ausgabe das Längenlimit, ohne zu enden. Eine Analyse des Endes der abgeschnittenen Texte in Abschnitten von jeweils acht Wörtern zeigte, dass rund 95% aus Wiederholungen bestanden. Die 11 Aufgaben, bei denen die Ausgabe regulär endete, waren alle richtig beantwortet.

Das zeigt: Der Hauptgrund für das schwache Ausgangsergebnis war, dass das Modell seine Antworten nicht rechtzeitig abgab – nicht, dass es die Aufgaben nicht lösen konnte. Bemerkenswert ist, dass die Forschenden in ihrer ersten Eingabeaufforderung an Astra bereits einen Fehlertyp nannten: Antworten, die am Token-Limit abgeschnitten werden, weil sich das Modell beim Nachdenken häufig wiederholt. Als Beispiel für eine wirksame Verbesserung führten sie an, die Ursache dieser Wiederholungen zu beheben. Auch Astras Abschlussbericht hält fest, dass die Änderung auf Wiederholungen abzielte, nicht auf mathematisches Wissen.

Auswertung der Reasoning-Modelle: Der gesamte Zuwachs entfällt auf abgeschnittene Antworten

Am überzeugendsten ist ein Vorher-nachher-Vergleich anhand von 1.152 zurückgehaltenen Übungsaufgaben. Teilt man die Aufgaben danach auf, ob die Antwort ursprünglich abgeschnitten wurde, wird das Ergebnis deutlich.

Ein leicht zu übersehendes Detail: Vor der Änderung gab es nur 7 Aufgaben, bei denen das Modell die Antwort zu Ende schrieb, aber falsch lag. Danach waren es 245. Erst nachdem die Wiederholungsschleifen aufhörten, wurden die tatsächlichen Rechenfehler des Modells sichtbar. Im offiziellen MATH-500-Benchmark sank die durchschnittliche Antwortlänge von 30.868 auf 22.037 Token. Auch dieser Rückgang konzentrierte sich auf Antworten, die zuvor an die Obergrenze gestoßen waren.

Überprüfung der Ergebnisse mit einem Vergleichsmodell

Auch den Forschenden war dieser Zusammenhang bewusst. Deshalb führten sie dasselbe Experiment mit Gemma 3 270M durch. Der Vergleich zeigt, dass es zwei verschiedene Dinge sind, ein Hindernis zu beseitigen und eine Fähigkeit hinzuzufügen.

Auch der ursprüngliche Blogbeitrag räumt ein: Das Ändern der Gewichte kann ein Hindernis beseitigen, das vorhandene Fähigkeiten blockiert. Es kann dem Modell aber keine Fähigkeiten hinzufügen, die es nicht besitzt. Für die Bewertung bedeutet das: Derselbe „starke Punkteanstieg“ kann je nach Art der Fehler etwas völlig anderes aussagen.

Die Parameterfalle bei der Bewertung von Reasoning-Modellen: Temperatur und Denkmodus

Ein Aspekt wird in der Debatte oft übersehen: Schon die Evaluierungseinstellungen können Schleifen begünstigen. Die Angaben aus der offiziellen Modellkarte von Qwen3.5-0.8B, die eine nachträgliche Analyse zitiert, weichen von den tatsächlichen Einstellungen der Forschenden ab.

Die Angaben aus der Modellkarte stammen aus einer Medienanalyse. Prüfen Sie vor einer Evaluierung am besten direkt das Original der offiziellen Qwen-Modellkarte. Entscheidend ist hier die Methode: Dasselbe Modell kann mit anderen Sampling-Parametern eine völlig andere „Baseline“ liefern. Wurde die Baseline unter Einstellungen ermittelt, die Schleifen begünstigen, kann jede Änderung, die das Modell zum rechtzeitigen Stoppen bringt, wie ein großer Fähigkeitssprung aussehen.

Checkliste für die Bewertung von Reasoning-Modellen: Erst Kürzungen analysieren, dann Schlussfolgerungen ziehen

Aus dieser Analyse lässt sich ein Bewertungsprozess ableiten, der für jedes Reasoning-Modell geeignet ist. Ob Sie ein Modell auswählen, Parameter anpassen oder eine Änderung am Fine-Tuning oder an der Eingabeaufforderung prüfen: Gehen Sie die folgende Checkliste Punkt für Punkt durch.

🎯 Bewertungstipp: Beim Modellvergleich ist es besonders mühsam, für jedes Modell eigenen Aufrufcode zu schreiben. Über die OpenAI-kompatible Schnittstelle von APIYI apiyi.com lassen sich mehrere gängige Modelle mit demselben Skript sowie denselben Eingabeaufforderungen und Parametern aufrufen. So können Sie die „Kürzungsrate“ einfach als feste Spalte in der Auswertung ausgeben.

Evaluierungsskript für Thinking-Modelle: ein Minimalbeispiel

Der folgende Code ermittelt, welcher Anteil der Antworten auf eine Reihe von Fragen durch das Längenlimit abgeschnitten wurde. Wenn finish_reason den Wert length hat, wurde das Limit max_tokens erreicht:

import openai

client = openai.OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apiyi.com/v1"  # OpenAI-kompatible Schnittstelle von APIYI
)

questions = ["计算 17 * 23 的结果", "求 1 到 100 的整数和"]
truncated = 0
for q in questions:
    r = client.chat.completions.create(
        model="your-thinking-model",  # Durch den tatsächlichen Modellnamen ersetzen
        messages=[{"role": "user", "content": q}],
        max_tokens=4096,
    )
    if r.choices[0].finish_reason == "length":
        truncated += 1
print(f"截断率: {truncated / len(questions):.1%}")

import openai
from collections import Counter

client = openai.OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apiyi.com/v1"
)

def tail_repetition_ratio(text: str, n: int = 8, tail_words: int = 400) -> float:
    """Ermittelt den Anteil wiederholter n-Gramme am Textende (für Chinesisch kann nach Zeichen aufgeteilt werden)."""
    words = text.split()[-tail_words:]
    if len(words) < n * 2:
        return 0.0
    grams = [tuple(words[i:i + n]) for i in range(len(words) - n + 1)]
    counts = Counter(grams)
    repeated = sum(c for c in counts.values() if c > 1)
    return repeated / len(grams)

def evaluate(dataset, model, temperature, max_tokens, judge):
    """dataset: [(question, answer)], judge: Funktion zur Prüfung der Antwort auf Korrektheit"""
    stats = {"done": [0, 0], "truncated": [0, 0], "loop": 0}
    for q, ans in dataset:
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": q}],
            temperature=temperature,
            max_tokens=max_tokens,
        )
        choice = r.choices[0]
        text = choice.message.content or ""
        group = "truncated" if choice.finish_reason == "length" else "done"
        stats[group][0] += 1
        stats[group][1] += int(judge(text, ans))
        if group == "truncated" and tail_repetition_ratio(text) > 0.5:
            stats["loop"] += 1

    for g in ("done", "truncated"):
        total, correct = stats[g]
        rate = correct / total if total else 0
        print(f"{g}: {total} 题，正确率 {rate:.1%}")
    t = stats["truncated"][0]
    print(f"截断题中疑似循环: {stats['loop']} / {t}")
    return stats

Beachten Sie, dass sich der Thinking-Modus je nach Modell unterschiedlich ein- und ausschalten lässt: Bei manchen wird er über ein Anfragefeld gesteuert, bei anderen über den Modellnamen oder die Vorlage für die Eingabeaufforderung. Auch ob die Thinking-Inhalte auf max_tokens angerechnet und separat zurückgegeben werden, hängt vom Modell ab. Prüfen Sie deshalb vor der Evaluierung jeweils die zugehörige Dokumentation.

🚀 Schnellstart: Wenn Sie diese Aufteilung zunächst testen möchten, können Sie sich bei APIYI auf apiyi.com registrieren und das kostenlose Testguthaben nutzen. Lassen Sie zwei oder drei Thinking-Modelle einige Dutzend Fragen beantworten, vergleichen Sie zunächst die Abbruchraten und entscheiden Sie dann, ob Sie die Evaluierung ausweiten möchten.

Analyse der Auswirkungen des Vorfalls bei der Bewertung von Reasoning-Modellen

Auswirkungen auf Entwickler

• Die Gesamtpunktzahl ist nicht mehr verlässlich: Wer nur auf die Gesamtgenauigkeit schaut, wirft unvollständige und falsche Antworten in einen Topf. Evaluierungsberichte sollten vor dem produktiven Einsatz mindestens zwei Spalten enthalten: die Abbruchrate und die Genauigkeit nach Gruppen.
• Der Nutzen von Parameteranpassungen kann falsch interpretiert werden: Ein höheres Ausgabelimit, eine angepasste Temperatur oder eine Wiederholungsstrafe können die Punktzahl deutlich steigern. Das beseitigt jedoch lediglich Hindernisse und bedeutet nicht, dass das Modell selbst verändert wurde.
• Auch die Produktionsumgebung ist betroffen: Was bei der Evaluierung als abgeschnittene Ausgabe auffällt, zeigt sich im Betrieb durch überlange Antworten, ausufernde Kosten und lange Wartezeiten. Die Model Card selbst empfiehlt Streaming-Ausgaben in Kombination mit Schleifenerkennung und frühzeitigem Abbruch.

Auswirkungen auf die Forschung zur Modellevaluierung

• Für „deutliche Verbesserungen“ braucht es differenzierte Nachweise: Die Aufarbeitung zeigt, dass ein vermeintlicher Fähigkeitssprung nach Aufschlüsselung der Abbrüche möglicherweise nur auf eine Fehlerbehebung zurückgeht. Bei künftigen Verbesserungsbehauptungen zu kleinen Modellen oder Reasoning-Modellen lohnt sich daher die Frage, wie sich die Abbruchrate verändert hat.
• Die Gestaltung von Kontrollgruppen gewinnt an Bedeutung: Sowohl das ergänzende Experiment mit Gemma 3 270M als auch Astras eigener Kontrollversuch mit zufälligen Richtungen, bei dem sich das Ergebnis nur um etwa 1,5 Prozentpunkte veränderte, zeigen: Gut gestaltete Kontrollen sind entscheidend, um echte Signale von Rauschen zu unterscheiden.

Häufig gestellte Fragen (FAQ)

Die wichtigsten Erkenntnisse zur Bewertung von Reasoning-Modellen

• Quelle des Anstiegs: Bei den 114 Aufgaben, die Qwen vollständig beantwortete, lag die Trefferquote vorher wie nachher bei 93,9 %. Der gesamte Anstieg kam von den abgeschnittenen Antworten.
• Fehlertyp: Im Baseline-Test erreichten 93 % der Antworten das Limit; rund 95 % ihres letzten Abschnitts bestanden aus Wiederholungen.
• Abweichende Parameter: Die Testtemperatur von 0,6 entsprach nicht der in der Modellkarte empfohlenen Temperatur von 1,0 für Reasoning-Text.
• Kontrollvergleich: Gemma 3 270M hatte eine niedrige Abschneiderate. Nach der Gewichtsänderung verbesserte sich das Ergebnis auf MATH-500 um weniger als einen Prozentpunkt.
• Kern der Methode: Zuerst anhand von finish_reason nach abgeschnittenen und vollständigen Antworten aufteilen, dann die Trefferquoten vergleichen.
• Praktischer Einstieg: Über die einheitliche Schnittstelle von APIYI apiyi.com mit denselben Parametern Abschneidestatistiken für mehrere Modelle erstellen.

Fazit

Die Kontroverse um Astras Änderung an den Qwen-Gewichten erinnert alle, die Reasoning-Modelle bewerten, an drei wichtige Punkte:

1. Starke Ergebnisanstiege aufschlüsseln: Die Antworten danach gruppieren, ob sie das Token-Limit erreicht haben, und prüfen, aus welcher Gruppe der Anstieg stammt.
2. Parameter gehören zur Baseline: Temperatur, Reasoning-Einstellung und Ausgabelimit müssen mit der Modellkarte abgeglichen und im Bericht festgehalten werden.
3. Hindernisse beseitigen ist nicht dasselbe wie Fähigkeiten verbessern: Anhand eines Kontrollmodells mit niedriger Abschneiderate prüfen, worauf die Verbesserung tatsächlich zurückgeht.

Wenn also das nächste Mal jemand behauptet, eine Änderung habe das Ergebnis vervielfacht, lohnt sich zuerst die Frage: Wie stark hat sich die Abschneiderate verändert? Diese eine Frage sagt oft mehr aus als das Gesamtergebnis.

Wer gerade mehrere Reasoning-Modelle vor dem produktiven Einsatz bewertet, kann über APIYI apiyi.com mit denselben Skripten und Parametern zunächst deren Abschneideraten vergleichen und anschließend über die Modellauswahl entscheiden.

📚 Quellen

1. Analyse von 硅星人 Pro (veröffentlicht bei 36氪): Das viel diskutierte „Astra baut Qwens Gehirn um“ hat wenig mit dem RSI zu tun, das wir uns wünschen
2. Link: 36kr.com/p/4056494372181124

3. Hinweis: Enthält die anhand der Einträge zu jeder einzelnen Aufgabe im öffentlichen Repository neu berechneten Daten der gepaarten Tests. Sie bilden die wichtigste Datenquelle dieses Artikels.

4. Blog eines MIT-CSAIL-Forschers: Sparks of Weight-Space Programming

5. Hinweis: Originalbeschreibung des Experiments und Ergebnistabellen. Es empfiehlt sich, den Aufbau von Experiment 8 im Original nachzulesen.

6. Offizielle Modellkarte von Qwen3.5-0.8B: Sampling-Parameter und Denkmodus

7. Hinweis: Zur Überprüfung des standardmäßigen Denkmodus, der empfohlenen Temperatur und der Hinweise zum Umgang mit Schleifen.

Autor: APIYI-Technikteam
Technischer Austausch: Kontaktieren Sie uns gerne über die offizielle APIYI-Website apiyi.com. Weitere Hinweise zu Modellaufrufen finden Sie im Dokumentationszentrum unter docs.apiyi.com.