分數暴漲未必是能力變強：從 Astra 改 Qwen 權重看思考模型評測的截斷與重複陷阱，附 5 項檢查清單

作者注：從 Astra 改寫 Qwen3.5-0.8B 權重的實驗覆盤出發，講清思考模型評測中“答錯”與“沒寫完”的區別，以及按截斷拆分結果的方法。

11 月 2 日，MIT CSAIL 的四位研究者發佈博客《權重空間編程的火花》。文中稱 GPT-6 Astra 只改動了 Qwen3.5-0.8B 約 0.016% 的參數，MATH-500 成績就從 7.9% 漲到 48.1%，GSM8K 和 IFEval 也大幅上漲，隨即被大量轉發爲“AI 改 AI 大腦”的標誌性事件。

這不是要否定這項研究。研究的公開倉庫裏有 1,125 次調用的逐輪日誌，媒體覆盤時按逐題記錄重新統計，得出的結論更樸素：分數上漲幾乎全部來自“模型終於能把答案寫完”，而不是“模型變得更會做數學”。

核心價值：本文不重複討論 RSI 是否成立。我們把這次覆盤整理成一套可複用的思考模型評測方法，幫助你在選型、調參或上線前判斷：分數變化到底來自能力差異，還是來自重複循環導致的截斷。

思考模型評測事件核心信息速覽

先把事件裏與評測相關的關鍵事實集中列出來。以下數據均來自原博客和媒體對公開倉庫的覆盤。

思考模型評測中的“截斷”從哪裏來

Astra 第一次讓 Qwen 跑 96 道練習題，只答對 11 道。剩下的 85 道並非算錯，而是全部寫到長度上限還沒停下來，截斷文本尾部按八詞片段統計，約 95% 是重複內容。那 11 道正常結束的題，全部答對了。

這說明基線成績低的主因是“交不上卷”，而不是“不會做”。值得一提的是，研究者給 Astra 的第一輪提示詞裏，就把“被 token 上限截斷，往往是在思考裏重複自己”列爲失敗類型之一，並以“修好驅動重複的東西”作爲有效改進的例子。Astra 的最終報告也寫明，它瞄準的是重複，而不是數學知識。

思考模型評測數據拆分：漲幅全部集中在截斷題

覆盤中最有說服力的，是一組 1,152 道留出練習題的修改前後配對測試。只要按“原本是否被截斷”把題目分成兩組，結論就非常清楚。

還有一個容易被忽略的細節：修改前“寫完但答錯”的題只有 7 道，修改後變成 245 道。循環停止之後，模型真實的計算錯誤才暴露出來。在正式的 MATH-500 上，平均作答長度從 30,868 token 降到 22,037 token，下降部分同樣集中在原本撞到上限的回答上。

用對照模型驗證思考模型評測結論

研究者自己也意識到了這一點，於是在 Gemma 3 270M 上做了同樣的實驗。兩次實驗的對比，正好說明“搬開障礙”和“增加能力”是兩回事。

原博客正文也承認：改權重能搬開擋住能力的障礙，加不上模型沒有的能力。對評測者來說，這句話的意義在於：同樣的“分數大漲”，在不同的失敗結構下含義完全不同。

思考模型評測的參數陷阱：溫度與思考開關

這次爭議還有一個前提常被忽略：評測設置本身就容易誘發循環。覆盤援引的 Qwen3.5-0.8B 官方模型卡信息，與研究者的實際設置存在差異。

需要說明的是，以上模型卡內容來自媒體覆盤的轉述，建議你在評測前直接覈對 Qwen 官方模型卡原文。這裏要強調的是方法：同一個模型，換一組採樣參數，“基線”就可能完全不同。如果基線本身是在易循環的設置下測出來的，任何讓模型“停得下來”的改動都會顯得像能力飛躍。

思考模型評測檢查清單：先拆截斷，再下結論

把這次覆盤的教訓抽象出來，可以得到一套適用於任何思考模型的評測流程。不管你是在選型、調參，還是驗證某個微調或提示詞改動，都可以按下表逐項覈對。

🎯 評測建議：做橫向對照時，最麻煩的是爲每家模型分別寫一套調用代碼。通過 API易 apiyi.com 的 OpenAI 兼容接口，可以用同一份腳本、同一組提示詞和參數調用多家主流模型，方便把“截斷率”作爲固定統計列輸出。

思考模型評測腳本：極簡示例

下面的代碼統計一批題目中被長度上限截斷的比例。finish_reason 爲 length 即表示撞到了 max_tokens：

import openai

client = openai.OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apiyi.com/v1"  # API易 OpenAI 兼容接口
)

questions = ["計算 17 * 23 的結果", "求 1 到 100 的整數和"]
truncated = 0
for q in questions:
    r = client.chat.completions.create(
        model="your-thinking-model",  # 替換爲實際模型名
        messages=[{"role": "user", "content": q}],
        max_tokens=4096,
    )
    if r.choices[0].finish_reason == "length":
        truncated += 1
print(f"截斷率: {truncated / len(questions):.1%}")

import openai
from collections import Counter

client = openai.OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apiyi.com/v1"
)

def tail_repetition_ratio(text: str, n: int = 8, tail_words: int = 400) -> float:
    """統計文本尾部 n-gram 的重複比例（中文可改爲按字符切分）"""
    words = text.split()[-tail_words:]
    if len(words) < n * 2:
        return 0.0
    grams = [tuple(words[i:i + n]) for i in range(len(words) - n + 1)]
    counts = Counter(grams)
    repeated = sum(c for c in counts.values() if c > 1)
    return repeated / len(grams)

def evaluate(dataset, model, temperature, max_tokens, judge):
    """dataset: [(question, answer)], judge: 判斷答案是否正確的函數"""
    stats = {"done": [0, 0], "truncated": [0, 0], "loop": 0}
    for q, ans in dataset:
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": q}],
            temperature=temperature,
            max_tokens=max_tokens,
        )
        choice = r.choices[0]
        text = choice.message.content or ""
        group = "truncated" if choice.finish_reason == "length" else "done"
        stats[group][0] += 1
        stats[group][1] += int(judge(text, ans))
        if group == "truncated" and tail_repetition_ratio(text) > 0.5:
            stats["loop"] += 1

    for g in ("done", "truncated"):
        total, correct = stats[g]
        rate = correct / total if total else 0
        print(f"{g}: {total} 題，正確率 {rate:.1%}")
    t = stats["truncated"][0]
    print(f"截斷題中疑似循環: {stats['loop']} / {t}")
    return stats

注意，不同模型開啓或關閉思考模式的參數並不統一，有的通過請求字段控制，有的通過模型名區分，有的寫在提示詞模板裏。思考內容是否計入 max_tokens、是否單獨返回，也因模型而異，評測前務必逐一查閱對應文檔。

🚀 快速上手：如果只是想先驗證這套拆分方法，可以在 API易 apiyi.com 註冊後用免費測試額度，挑兩三個思考模型跑幾十道題，先看截斷率差異，再決定是否擴大評測規模。

思考模型評測事件的影響分析

對開發者的影響

• 總分不再可信：只看總正確率，會把“沒寫完”和“答錯”混爲一談。上線前的評測報告至少應包含截斷率和分組正確率兩列。
• 調參的收益可能被誤讀：調高輸出上限、調整溫度或加入重複懲罰，都可能大幅提升分數，但這屬於“搬開障礙”，不代表模型換了。
• 生產環境同樣受影響：評測中的截斷在線上表現爲響應超長、費用失控和用戶等待。流式輸出配合循環檢測與提前截斷，是模型卡本身給出的建議。

對模型評估研究的影響

• “大幅提升”需要分解證據：這次覆盤表明，一個看起來是能力飛躍的結果，按截斷拆分後可能只是 bug 修復。今後任何針對小模型或思考模型的改進聲明，都值得追問截斷率變化。
• 對照組設計更受重視：Gemma 3 270M 的補充實驗，以及 Astra 自己做的隨機方向對照（成績只變動約 1.5 個百分點），都說明對照設計是區分真信號與噪聲的關鍵。

常見問題 FAQ

思考模型評測核心要點 Key Takeaways

• 漲幅來源：Qwen 寫完的 114 題前後都是 93.9%，漲幅全部來自截斷題
• 失敗類型：基線 93% 的回答撞到上限，尾部約 95% 是重複內容
• 參數差異：評測溫度 0.6 與模型卡推薦的思考文本溫度 1.0 不一致
• 對照證據：Gemma 3 270M 截斷率低，改權重後 MATH-500 僅提升不到 1 個百分點
• 方法核心：先按 finish_reason 拆分截斷，再比較正確率
• 上手方式：用 API易 apiyi.com 統一接口，在相同參數下對多模型跑截斷統計

總結

這次“Astra 改 Qwen 權重”的爭議，給所有做思考模型評測的人提了個醒：

1. 分數暴漲要先拆分：按是否撞到 token 上限分組，看漲幅來自哪一組
2. 參數是基線的一部分：溫度、思考開關和輸出上限必須對照模型卡覈實並寫進報告
3. 區分搬開障礙與增加能力：用低截斷率的對照模型驗證改進的真實性質

下次看到“某改動讓成績翻幾倍”的結論時，先問一句：截斷率變了多少？這一個問題，往往比總分更能說明真相。

如果你正準備對幾款思考模型做上線前評測，推薦通過 API易 apiyi.com 用同一套腳本和參數跑一輪截斷率統計，再決定選型方向。

📚 參考資料

1. 硅星人 Pro 覆盤文章（36氪轉載）：刷屏的「Astra 改造 Qwen 大腦」跟我們想要的 RSI 沒多大關係
2. 鏈接： 36kr.com/p/4056494372181124

3. 說明： 基於公開倉庫逐題記錄重算的配對測試數據，本文核心數據來源

4. MIT CSAIL 研究者博客：Sparks of Weight-Space Programming

5. 說明： 實驗原始描述與結果表，建議對照原文閱讀實驗 8 的設置

6. Qwen3.5-0.8B 官方模型卡：採樣參數與思考模式說明

7. 說明： 覈對思考模式默認狀態、推薦溫度及循環處理建議

作者: APIYI 技術團隊
技術交流: 歡迎在 API易 官網 apiyi.com 聯繫我們，更多調用說明可訪問 docs.apiyi.com 文檔中心