Lonjakan Skor Belum Tentu Berarti Kemampuan Meningkat: Jebakan Pemotongan dan Pengulangan dalam Evaluasi Model Berpikir dari Kasus Astra Mengubah Bobot Qwen, Disertai Daftar Periksa 5 Poin

Catatan penulis: Berangkat dari tinjauan ulang eksperimen Astra yang mengubah bobot Qwen3.5-0.8B, artikel ini menjelaskan perbedaan antara “jawaban salah” dan “jawaban belum selesai” dalam evaluasi model penalaran, serta cara memisahkan hasil berdasarkan status pemotongan.

Pada 2 November, empat peneliti MIT CSAIL menerbitkan artikel blog berjudul Sparks of Weight-Space Programming. Artikel itu menyebutkan bahwa GPT-6 Astra hanya mengubah sekitar 0.016% parameter Qwen3.5-0.8B, tetapi skor MATH-500 naik dari 7.9% menjadi 48.1%. Skor GSM8K dan IFEval juga meningkat tajam. Kabar ini pun banyak dibagikan sebagai peristiwa penting ketika “AI mengubah otak AI”.

Ini bukan upaya untuk menolak penelitian tersebut. Repositori publik penelitian itu memuat log per putaran dari 1,125 pemanggilan. Setelah menghitung ulang berdasarkan catatan tiap soal, tinjauan media menghasilkan kesimpulan yang lebih sederhana: kenaikan skor hampir seluruhnya berasal dari “model akhirnya bisa menyelesaikan jawabannya”, bukan karena “model menjadi lebih mahir mengerjakan soal matematika”.

Nilai utama: Artikel ini tidak mengulang perdebatan tentang apakah RSI benar-benar terjadi. Kami merangkum tinjauan tersebut menjadi metode evaluasi model penalaran yang bisa digunakan kembali, untuk membantu Anda menilai saat memilih model, menyetel parameter, atau sebelum peluncuran: apakah perubahan skor berasal dari perbedaan kemampuan atau dari pemotongan akibat pengulangan.

Ringkasan fakta utama evaluasi model penalaran

Berikut fakta-fakta penting terkait evaluasi dalam kasus ini. Semua data berasal dari blog asli dan ulasan media terhadap repositori publik.

Dari mana asal “pemotongan” dalam evaluasi model penalaran?

Saat pertama kali diminta mengerjakan 96 soal latihan dengan Qwen, Astra hanya menjawab benar 11 soal. Sebanyak 85 soal sisanya bukan salah hitung, melainkan semuanya mencapai batas panjang keluaran tanpa berhenti. Jika bagian akhir teks yang terpotong dihitung dalam potongan delapan kata, sekitar 95% isinya merupakan pengulangan. Sementara itu, 11 soal yang selesai secara normal semuanya dijawab dengan benar.

Ini menunjukkan bahwa penyebab utama rendahnya skor baseline adalah model “tidak bisa menyerahkan jawaban”, bukan “tidak bisa mengerjakan soal”. Menariknya, petunjuk putaran pertama yang diberikan peneliti kepada Astra sudah menyebut “terpotong oleh batas token, sering kali karena mengulang pemikirannya sendiri” sebagai salah satu jenis kegagalan. Petunjuk itu juga memberikan contoh perbaikan yang efektif: “memperbaiki hal yang memicu pengulangan”. Laporan akhir Astra pun menyatakan bahwa sasarannya adalah pengulangan, bukan pengetahuan matematika.

Rincian data evaluasi model penalaran: seluruh kenaikan berasal dari soal yang jawabannya terpotong

Bukti paling meyakinkan dalam tinjauan ini adalah pengujian berpasangan sebelum dan sesudah perubahan pada 1.152 soal latihan yang disisihkan. Ketika soal dibagi berdasarkan apakah jawabannya semula terpotong atau tidak, hasilnya sangat jelas.

Ada detail lain yang mudah terlewat: sebelum perubahan, hanya 7 soal yang selesai dijawab tetapi salah. Setelah perubahan, jumlahnya menjadi 245. Begitu pengulangan berhenti, kesalahan perhitungan model yang sebenarnya mulai terlihat. Pada MATH-500 resmi, panjang rata-rata jawaban turun dari 30,868 token menjadi 22,037 token. Penurunan ini juga terkonsentrasi pada jawaban yang semula mencapai batas.

Memvalidasi kesimpulan evaluasi dengan model pembanding

Para peneliti juga menyadari hal ini, sehingga mereka melakukan eksperimen yang sama pada Gemma 3 270M. Perbandingan kedua eksperimen ini menunjukkan bahwa “menyingkirkan hambatan” dan “menambah kemampuan” adalah dua hal yang berbeda.

Artikel blog aslinya juga mengakui bahwa perubahan bobot dapat menyingkirkan hambatan yang menutupi kemampuan, tetapi tidak bisa menambahkan kemampuan yang tidak dimiliki model. Bagi evaluator, artinya adalah: “kenaikan skor yang besar” bisa memiliki makna yang sama sekali berbeda, bergantung pada pola kegagalannya.

Jebakan parameter dalam evaluasi model berpikir: suhu dan mode berpikir

Ada satu hal yang sering luput dalam perdebatan ini: pengaturan evaluasi itu sendiri dapat memicu model mengulang-ulang respons. Informasi dari model card resmi Qwen3.5-0.8B yang dikutip dalam ulasan berbeda dari pengaturan yang digunakan peneliti.

Perlu dicatat, isi model card di atas bersumber dari kutipan dalam ulasan media. Sebelum melakukan evaluasi, sebaiknya periksa langsung model card resmi Qwen. Yang perlu ditekankan di sini adalah metodenya: pada model yang sama, perubahan parameter sampling dapat menghasilkan “baseline” yang sama sekali berbeda. Jika baseline diukur dengan pengaturan yang mudah memicu perulangan, perubahan apa pun yang membuat model “bisa berhenti” akan tampak seperti lompatan kemampuan.

Daftar periksa evaluasi model penalaran: pisahkan jawaban terpotong sebelum menarik kesimpulan

Dari pelajaran yang didapat dalam tinjauan ini, kita bisa menyusun proses evaluasi yang berlaku untuk model penalaran apa pun. Baik saat memilih model, menyetel parameter, maupun menguji perubahan pada fine-tuning atau petunjuk, gunakan tabel berikut sebagai panduan.

🎯 Saran evaluasi: Saat membandingkan model, bagian yang paling merepotkan adalah menulis kode pemanggilan terpisah untuk setiap penyedia. Melalui antarmuka kompatibel OpenAI dari APIYI apiyi.com, Anda bisa memanggil berbagai model populer dengan satu skrip serta petunjuk dan parameter yang sama. Ini memudahkan Anda mencantumkan “tingkat pemotongan” sebagai kolom statistik tetap.

Skrip evaluasi model penalaran: contoh minimalis

Kode berikut menghitung proporsi soal yang responsnya terpotong karena batas panjang. Nilai finish_reason berupa length menandakan respons telah mencapai max_tokens:

import openai

client = openai.OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apiyi.com/v1"  # Antarmuka APIYI yang kompatibel dengan OpenAI
)

questions = ["计算 17 * 23 的结果", "求 1 到 100 的整数和"]
truncated = 0
for q in questions:
    r = client.chat.completions.create(
        model="your-thinking-model",  # Ganti dengan nama model yang sebenarnya
        messages=[{"role": "user", "content": q}],
        max_tokens=4096,
    )
    if r.choices[0].finish_reason == "length":
        truncated += 1
print(f"截断率: {truncated / len(questions):.1%}")

import openai
from collections import Counter

client = openai.OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apiyi.com/v1"
)

def tail_repetition_ratio(text: str, n: int = 8, tail_words: int = 400) -> float:
    """Hitung proporsi pengulangan n-gram di akhir teks (teks Tionghoa dapat dipisahkan berdasarkan karakter)"""
    words = text.split()[-tail_words:]
    if len(words) < n * 2:
        return 0.0
    grams = [tuple(words[i:i + n]) for i in range(len(words) - n + 1)]
    counts = Counter(grams)
    repeated = sum(c for c in counts.values() if c > 1)
    return repeated / len(grams)

def evaluate(dataset, model, temperature, max_tokens, judge):
    """dataset: [(question, answer)], judge: fungsi untuk menentukan apakah jawaban benar"""
    stats = {"done": [0, 0], "truncated": [0, 0], "loop": 0}
    for q, ans in dataset:
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": q}],
            temperature=temperature,
            max_tokens=max_tokens,
        )
        choice = r.choices[0]
        text = choice.message.content or ""
        group = "truncated" if choice.finish_reason == "length" else "done"
        stats[group][0] += 1
        stats[group][1] += int(judge(text, ans))
        if group == "truncated" and tail_repetition_ratio(text) > 0.5:
            stats["loop"] += 1

    for g in ("done", "truncated"):
        total, correct = stats[g]
        rate = correct / total if total else 0
        print(f"{g}: {total} 题，正确率 {rate:.1%}")
    t = stats["truncated"][0]
    print(f"截断题中疑似循环: {stats['loop']} / {t}")
    return stats

Perlu diingat, parameter untuk mengaktifkan atau menonaktifkan mode penalaran berbeda-beda antar model. Ada yang dikendalikan melalui field permintaan, dibedakan berdasarkan nama model, atau ditulis dalam templat petunjuk. Apakah isi penalaran dihitung dalam max_tokens dan dikembalikan secara terpisah juga bergantung pada model. Pastikan untuk memeriksa dokumentasi masing-masing sebelum melakukan evaluasi.

🚀 Mulai cepat: Jika hanya ingin menguji metode pengelompokan ini terlebih dahulu, daftar di APIYI apiyi.com dan gunakan kuota uji coba gratis. Pilih dua atau tiga model penalaran, jalankan beberapa puluh soal, lalu bandingkan tingkat respons yang terpotong sebelum memutuskan apakah perlu memperluas evaluasi.

Analisis Dampak Insiden Evaluasi Model Berpikir

Dampak bagi Developer

• Skor total tidak lagi bisa diandalkan: Jika hanya melihat tingkat jawaban benar secara keseluruhan, jawaban yang “belum selesai” akan tercampur dengan jawaban yang “salah”. Laporan evaluasi sebelum peluncuran setidaknya perlu mencantumkan kolom tingkat pemotongan dan tingkat jawaban benar per kelompok.
• Manfaat penyesuaian parameter bisa disalahartikan: Menaikkan batas output, menyesuaikan temperature, atau menambahkan penalti pengulangan dapat meningkatkan skor secara signifikan. Namun, ini hanya “menyingkirkan hambatan”, bukan berarti modelnya berubah.
• Lingkungan produksi juga terdampak: Pemotongan yang terjadi saat evaluasi dapat muncul di lingkungan produksi sebagai respons yang terlalu panjang, biaya yang tak terkendali, dan waktu tunggu pengguna yang lama. Kartu model sendiri menyarankan output streaming yang dipadukan dengan deteksi pengulangan dan pemotongan dini.

Dampak bagi Penelitian Evaluasi Model

• Klaim “peningkatan besar” perlu diuraikan buktinya: Tinjauan ini menunjukkan bahwa hasil yang tampak seperti lompatan kemampuan mungkin hanya berasal dari perbaikan bug setelah dianalisis berdasarkan pemotongan. Ke depannya, setiap klaim peningkatan pada model kecil atau model berpikir perlu disertai pertanyaan tentang perubahan tingkat pemotongan.
• Desain kelompok kontrol semakin penting: Eksperimen tambahan pada Gemma 3 270M dan kontrol dengan arah acak yang dilakukan Astra sendiri, yang hanya mengubah skor sekitar 1,5 poin persentase, menunjukkan bahwa desain kontrol adalah kunci untuk membedakan sinyal nyata dari noise.

Pertanyaan Umum (FAQ)

Poin Penting Evaluasi Model Penalaran

• Sumber kenaikan: Tingkat akurasi pada 114 soal yang diselesaikan Qwen tetap 93,9% sebelum dan sesudah perubahan. Seluruh kenaikan berasal dari soal dengan jawaban yang terpotong.
• Jenis kegagalan: Pada pengujian awal, 93% jawaban mencapai batas output, dan sekitar 95% bagian akhir jawaban berisi pengulangan.
• Perbedaan parameter: Suhu evaluasi 0,6 berbeda dari suhu 1,0 yang direkomendasikan kartu model untuk teks penalaran.
• Bukti pembanding: Gemma 3 270M memiliki tingkat pemotongan rendah. Setelah bobotnya diubah, skor MATH-500 naik kurang dari 1 poin persentase.
• Inti metode: Kelompokkan jawaban yang terpotong berdasarkan finish_reason, lalu bandingkan tingkat akurasinya.
• Cara memulai: Gunakan antarmuka terpadu APIYI apiyi.com untuk menghitung tingkat pemotongan pada beberapa model dengan parameter yang sama.

Kesimpulan

Kontroversi “Astra mengubah bobot Qwen” ini menjadi pengingat bagi siapa pun yang mengevaluasi model penalaran:

1. Uraikan dulu lonjakan skor: Kelompokkan hasil berdasarkan apakah jawaban mencapai batas token, lalu lihat dari kelompok mana kenaikannya berasal.
2. Parameter adalah bagian dari baseline: Suhu, pengaturan penalaran, dan batas output harus diperiksa terhadap kartu model dan dicantumkan dalam laporan.
3. Bedakan menyingkirkan hambatan dari meningkatkan kemampuan: Gunakan model pembanding dengan tingkat pemotongan rendah untuk memastikan apa yang sebenarnya membaik.

Lain kali saat melihat klaim bahwa “suatu perubahan melipatgandakan skor”, tanyakan dulu: seberapa besar tingkat pemotongannya berubah? Pertanyaan ini sering kali lebih menjelaskan keadaan sebenarnya daripada skor total.

Jika kamu sedang bersiap mengevaluasi beberapa model penalaran sebelum diluncurkan, coba gunakan APIYI apiyi.com untuk menghitung tingkat pemotongan dengan skrip dan parameter yang sama sebelum menentukan model pilihan.

📚 Referensi

1. Artikel ulasan SiliconStar Pro (diterbitkan ulang oleh 36Kr): Kehebohan tentang “Astra memodifikasi otak Qwen” tidak banyak berkaitan dengan RSI yang kita inginkan
2. Tautan: 36kr.com/p/4056494372181124

3. Keterangan: Data uji berpasangan yang dihitung ulang berdasarkan catatan setiap soal di repositori publik; sumber data utama artikel ini

4. Blog peneliti MIT CSAIL: Sparks of Weight-Space Programming

5. Keterangan: Deskripsi asli eksperimen dan tabel hasil. Sebaiknya baca pengaturan eksperimen 8 dengan mengacu pada sumber aslinya

6. Kartu model resmi Qwen3.5-0.8B: Penjelasan parameter sampling dan mode berpikir

7. Keterangan: Untuk memeriksa status bawaan mode berpikir, suhu yang disarankan, dan saran penanganan loop

Penulis: Tim Teknis APIYI
Diskusi teknis: Hubungi kami melalui situs resmi APIYI di apiyi.com. Panduan pemanggilan selengkapnya tersedia di pusat dokumentasi docs.apiyi.com