Catatan penulis: Berdasarkan serangkaian tes replikasi situs resmi Agrumea Farm, artikel ini membandingkan Gemini 4 Carbon, Claude Opus 5.5, dan GPT-6 Astra dari 3 dimensi: kemiripan desain, tuntutan interaksi, serta waktu pengerjaan dan biaya setara API. Artikel ini juga memberikan panduan memilih model sesuai skenario dan cara menguji ulang sendiri.
Kalau satu situs resmi merek yang sama diserahkan ke tiga model papan atas untuk direplikasi, seberapa besar bedanya hasil mereka? Pada 11 November 2026, penulis ulasan independen Pat Simmons (AI for Mortals) merilis serangkaian tes. Ia meminta Gemini 4 Carbon, Claude Opus 5.5, dan GPT-6 Astra mereplikasi situs resmi merek makanan Italia Agrumea Farm, lalu mempublikasikan hasil karya, tangkapan layar, petunjuk, waktu eksekusi, dan biaya setara API.
Ini bukan analisis kompromi ala “masing-masing punya kelebihan”. Dalam tugas ini, pemenang di tiap dimensi cukup jelas: Carbon paling murah, Astra paling cepat, dan Opus mendapat penilaian kualitas lebih tinggi dari penulis ulasan. Perlu dicatat juga bahwa setiap model hanya dijalankan satu kali, dengan lingkungan alat dan tanggal pengujian yang berbeda. Jadi hasil ini tidak bisa langsung dijadikan peringkat untuk semua skenario pengembangan web.
Nilai utama: Setelah membaca artikel ini, kamu akan tahu kelebihan masing-masing alur kerja “model + alat” dari sisi hasil, kecepatan, dan biaya. Kamu juga bisa memakai metode di sini untuk memverifikasi ulang di proyekmu sendiri.

Lihat dulu seperti apa situs aslinya — begini cara tes replikasi Carbon, Opus, dan Astra dengan soal yang sama

Pahami dulu kondisi pengujiannya, baru lihat hasilnya. Nilai dari rangkaian tes ini ada pada “situs yang sama, petunjuk yang sama, target pengembangan yang sama”. Tapi yang dibandingkan di sini adalah alur kerja secara utuh, bukan model yang diisolasi sendirian di laboratorium.
| Aspek pengujian | Pengaturan spesifik | Pengaruh terhadap kesimpulan |
|---|---|---|
| Objek tes | Situs resmi Agrumea Farm (versi Inggris) | Yang dibandingkan adalah kemampuan mereplikasi desain, bukan selera estetika orisinal |
| Tugas | Mereplikasi struktur halaman, gaya visual, carousel kaleng 3D, scroll dan drag, animasi loading, animasi hover, serta transisi halaman | Selain tangkapan layar statis, interaksi juga jadi indikator kualitas |
| Ukuran yang diperiksa | Desktop 1440×900, mobile 390×844 | Layout responsif harus ikut diperhitungkan |
| Cara verifikasi | Membaca gaya lewat browser dan melakukan verifikasi visual, memastikan situs bisa berjalan | Kemampuan model memeriksa hasilnya sendiri lewat browser memengaruhi hasil akhir |
| Lingkungan alat | Carbon memakai Google Antigravity, Opus memakai Claude Code, Astra memakai Codex, semuanya dengan pengaturan penalaran tinggi | Hasilnya merupakan produk gabungan dari model dan rantai alatnya |
| Jumlah run dan tanggal | Tiap model hanya dijalankan 1 kali; Opus dan Astra pada 6 November, Carbon pada 10–11 November | Ada fluktuasi antar-run tunggal dan perbedaan lingkungan |
Tiga prasyarat penting dalam tes Carbon, Opus, dan Astra
Prasyarat pertama: ini tugas “replikasi”, bukan “desain bebas”. Ketiga model harus mengikuti bahasa desain merek aslinya, jadi yang dibandingkan adalah tingkat kemiripan, detail, dan kelengkapan. Kalau kebutuhanmu adalah membuat visual orisinal dari nol, tes ini hanya bisa jadi bahan referensi.
Prasyarat kedua: soal biaya. Semua nominal di artikel ini adalah biaya setara API yang dihitung penulis evaluasi dari harga model dan log pemakaian, bukan tagihan langganan yang sebenarnya dipotong. Kalau kamu menjalankan tugas yang sama dengan alat berlangganan bulanan, bentuk tagihannya akan sama sekali berbeda.
Prasyarat ketiga: sebenarnya ada empat model dalam evaluasi ini. Penulis juga memasukkan Claude Fable 5.2, yang meraih peringkat pertama secara subjektif. Karena itu, “peringkat 2, 3, dan 4” yang disebut di bawah merujuk pada peringkat dari keempat model.
Keterangan gambar: Tiga tangkapan layar halaman utama karya yang dibahas di artikel ini bersumber dari AI for Mortals / Pat Simmons, terbit 2026-11-11, masing-masing sesuai dengan hasil replikasi Gemini 4 Carbon, Claude Opus 5.5, dan GPT-6 Astra.
Ronde Pertama: Carbon, Opus, Astra — Siapa yang Paling Mirip Desain Web Aslinya?
Kita lihat tampilannya dulu. Dari tangkapan layar halaman pertama (above the fold) yang dipublikasikan, ketiga hasil karya sama-sama menangkap elemen inti situs aslinya: latar putih gading, kaleng makanan yang melayang, latar melengkung berwarna merah anggur, teks oranye yang mengelilingi kaleng, serta logo merek, pengalih bahasa, dan tombol menu di bagian atas. Artinya, tidak ada satu pun yang menghasilkan halaman templat yang melenceng jauh. Perbedaannya terletak pada proporsi, lapisan visual, dan detail.
Gambar di bawah ini, dari atas ke bawah, adalah hasil karya opus5.5, astra, dan carbon.



| Aspek yang Diamati | Gemini 4 Carbon | Claude Opus 5.5 | GPT-6 Astra |
|---|---|---|---|
| Komposisi halaman pertama | Banyak ruang kosong, kesan keseluruhan lega | Objek produk lebih besar, dampak visual kuat | Tata letak lengkap, secara keseluruhan lebih rapat |
| Proporsi kaleng | Kaleng di tengah relatif kecil | Kaleng menonjol, menjadi pusat visual mutlak | Pusat visual jelas |
| Latar belakang dan lapisan | Latar melengkung sudah direproduksi | Hubungan tumpang tindih antara kaleng dan kurva latar lebih menonjol | Lapisan visual lengkap |
| Label dan teks | Sebagian detail label dan teks masih lemah | Label dan tipografi tampil lebih kaya | Label kaleng punya ornamen grafis yang jelas |
| Peringkat subjektif penulis (empat model) | Ke-4 | Ke-2 | Ke-3 |
Mengapa Opus Lebih Diakui dalam Reproduksi Desain
Pertama, kita pisahkan dulu dua jenis informasi: empat baris pertama pada tabel adalah pengamatan visual terhadap tangkapan layar yang dipublikasikan, sedangkan baris terakhir adalah peringkat subjektif dari penulis evaluasi. Di antara tiga model yang ditentukan, penulis paling puas dengan Opus, disusul Astra, dan terakhir Carbon.
Dari tangkapan layar, keunggulan Opus terutama ada pada “hierarki utama dan pendukung di situs resmi sebuah merek”. Fokus utama halaman pertama situs merek makanan adalah produknya. Opus membuat kalengnya lebih besar, lalu membuat kaleng dan kurva merah anggur saling menumpuk dengan jelas (ada kesan depan-belakang), dan teks pada labelnya juga lebih jelas. Tata letak Carbon yang lega sebenarnya tidak salah, tetapi kalengnya cenderung kecil dan sebagian detail teksnya lemah, sehingga mudah dirugikan jika standar penilaiannya adalah “tingkat kemiripan”.
Penampilan Astra berada di antara keduanya. Komposisinya lengkap, pusat visualnya jelas, dan nuansa dekoratif pada label kalengnya juga cukup kuat, hanya saja secara keseluruhan terasa lebih rapat. Untuk tugas meniru situs, “semirip apa dengan situs aslinya” lebih penting daripada “seberapa bagus tampilannya”. Inilah yang menjelaskan mengapa ketiga hasil karya sama-sama tidak buruk, tetapi peringkatnya tetap terlihat jelas berbeda.
Putaran Kedua: Kenapa Interaksi Carbon, Opus, dan Astra Tidak Bisa Dinilai Hanya dari Tangkapan Layar
Perbedaan terbesar antara website dan desain statis adalah website harus “bergerak”. Tugas aslinya secara tegas meminta pembuatan ulang karusel kaleng produk 3D, interaksi scroll dan drag, animasi loading, animasi hover, serta transisi antarhalaman. Kemampuan-kemampuan ini hampir tidak terlihat di tangkapan layar statis, padahal justru menentukan pengalaman pengguna begitu website dibuka.
Jadi, tangkapan layar hanya bisa menunjukkan tata letak dan detail visual, bukan bukti bahwa fitur interaksinya sudah terimplementasi sepenuhnya. Untuk menilai apakah kaleng 3D bisa di-drag dengan mulus, apakah respons hover terasa natural, dan apakah tampilan di perangkat seluler bergeser, kamu perlu membuka ketiga halaman karya yang dipublikasikan secara terbuka dan mencobanya langsung. Artikel ini tidak menganggap tangkapan layar sebagai hasil uji interaksi, dan tidak menambahkan skor interaksi yang tidak diberikan oleh penulis aslinya.
Putaran ini juga memperlihatkan perbedaan antara pengembangan web dan pembuatan gambar statis. Sebuah model bisa saja menggambar tampilan layar pertama yang cantik, tetapi untuk menuliskan karusel 3D, animasi berbasis scroll, dan tata letak responsif ke dalam kode yang benar-benar jalan, model juga harus mengurus urutan pemuatan, performa, dan tampilan di berbagai ukuran layar. Evaluasi ini mewajibkan “membaca gaya lewat browser dan melakukan verifikasi visual” justru supaya status “selesai ditulis” berubah menjadi “benar-benar jalan”.
Dalam proyek nyata, kamu bisa memeriksa website hasil buatan AI dengan urutan berikut:
- Buka halaman pada dua ukuran, yaitu 1440×900 dan 390×844, lalu pastikan tata letak tidak meluap atau saling tumpang tindih.
- Picu satu per satu interaksi drag, scroll, hover, dan perpindahan halaman, lalu amati apakah animasinya patah-patah atau tidak berfungsi.
- Buka konsol browser dan periksa apakah ada error, sumber daya yang gagal dimuat, atau animasi yang berulang tanpa henti.
- Terakhir, bandingkan layar demi layar dengan website asli atau desain, lalu catat perbedaan visualnya.
Putaran Ketiga: Selisih Biaya dan Waktu antara Carbon, Opus, dan Astra
Putaran ini paling jelas memperlihatkan perbedaan ketiga alur kerja. Semua data di bawah berasal dari evaluasi aslinya, dan biayanya dihitung sebagai biaya setara API.

| Metrik | Gemini 4 Carbon | Claude Opus 5.5 | GPT-6 Astra |
|---|---|---|---|
| Durasi | 99 menit | 141 menit | 68 menit (tercepat) |
| Biaya setara API | 10,86 dolar AS (termurah) | 60,14 dolar AS | 90,63 dolar AS |
| Token input | 27,7 juta | 197,9 juta | 70,4 juta |
| Token output | 430 ribu | 483 ribu | 211 ribu |
| Biaya setara per menit (perkiraan) | sekitar 0,11 dolar AS | sekitar 0,43 dolar AS | sekitar 1,33 dolar AS |
| Peringkat subjektif penulis (dari empat model) | Ke-4 | Ke-2 | Ke-3 |
Membaca Data Biaya Carbon, Opus, dan Astra Lebih Dalam
Biaya setara API Carbon sekitar 18% dari Opus dan 12% dari Astra. Kalau cara kerja Anda penuh coba-coba dan iterasi berulang, selisih ini akan terus membesar seiring bertambahnya putaran tugas. Astra selesai dalam 68 menit, kurang dari separuh waktu Opus, jadi cocok untuk situasi yang sangat menuntut kecepatan pengiriman. Opus paling lama dan biayanya di tengah, tetapi hasilnya paling memuaskan bagi penulis di antara ketiganya.
Ada satu hal di tabel yang mudah terlewat: token input ketiganya jauh lebih besar daripada token output. Dari data tabel, rasio input terhadap output Carbon sekitar 64:1, Opus sekitar 410:1, dan Astra sekitar 334:1. Ini berkaitan dengan karakter pengembangan berbasis Agent. Di setiap putaran, model harus membaca ulang konteks seperti kode, gaya, dan status halaman, sedangkan kode yang benar-benar “ditulis” hanya porsi kecil. Input Opus yang mendekati 200 juta menunjukkan bahwa model ini bolak-balik membaca konteks dalam jumlah besar selama tugas ini.
Hal lain yang perlu dicatat: jumlah token tidak sebanding dengan biaya. Input token Astra hanya sekitar sepertiga dari Opus, tetapi biaya setaranya justru lebih tinggi. Artinya, harga satuan dan skema penagihan cache juga sangat berpengaruh. Saat menilai biaya, jangan hanya melihat siapa yang memakai token paling sedikit. Hitunglah berdasarkan aturan penagihan aktual tiap model. Artikel ini tidak membahas harga satuan secara rinci, jadi untuk angkanya silakan merujuk ke halaman harga resmi masing-masing vendor.
Mengapa Carbon, Opus, dan Astra Menghasilkan Hasil Berbeda dari Petunjuk yang Sama
Petunjuk yang sama menghasilkan tiga hasil yang berbeda, dan penyebabnya tidak hanya terletak pada modelnya. Dalam rangkaian pengujian ini, setiap model dijalankan di alat pengembangan buatan perusahaannya sendiri. Hasil akhirnya ditentukan bersama oleh kemampuan model, cara pemanggilan alat, mekanisme pemeriksaan mandiri lewat browser, dan pengelolaan konteks.

Dari materi resmi, ketiga perusahaan punya penekanan yang berbeda dalam kemampuan pengembangan web:
- Google (Carbon + Antigravity): menekankan desain front-end, verifikasi lewat browser, efek dinamis, konten 3D yang kompleks, dan pengembangan multi-agen. Contoh resminya mencakup desain ulang Google Merchandise Store hanya dengan dua kali petunjuk, serta pengalaman interaktif 3D yang dibuat dengan Three.js.
- OpenAI (Astra + Codex): dalam pengenalan resmi Astra, yang ditonjolkan adalah kemampuan membangun situs web, aplikasi, dan game, serta alur kerja yang menjalankan pemeriksaan kualitas front-end setelah kode dihasilkan.
- Anthropic (Opus + Claude Code): materi resminya tidak menyertakan perbandingan untuk soal yang sama. Namun, dalam pengujian pihak ketiga Proofyard/Woofocus pada 24 Oktober 2026, Opus 5.5 menyelesaikan desain awal dan revisi beranda sebuah studio furnitur dengan biaya US$4,34 berdasarkan harga API. Pengujian ini bukan perbandingan langsung dengan Carbon dan Astra yang dibahas di artikel ini.
Cara Membaca Data Papan Peringkat Carbon, Opus, dan Astra
Selain uji coba tunggal, kita juga bisa melihat papan peringkat yang merangkum banyak tugas. Semua data di tabel berikut dilengkapi tanggal pengambilan. Skor Elo bergantung pada metode pengujian masing-masing platform, jadi tidak bisa dibandingkan langsung antarpapan peringkat.
| Papan peringkat (tanggal) | Jenis pengujian | Claude Opus 5.5 | GPT-6 Astra | Gemini 4 Carbon |
|---|---|---|---|---|
| Arena WebDev (2026-11-10) | Adu pengembangan web berbasis voting | 1814 (Max) | 1764 (Max) | 1768 (High, peringkat awal) |
| DesignArena, papan peringkat Agentic gabungan (2026-11-11) | Front-end, full-stack, game, mobile, dokumen kantor, dll. | 1440 (High), peringkat 1 | 1385 (Max), peringkat 3 | 1291, peringkat 7 |
Di kedua papan peringkat, Opus unggul. Ini searah dengan urutan subjektif penulis dalam pengujian replikasi kali ini. Di papan WebDev, Carbon sangat dekat dengan Astra, tetapi di papan gabungan DesignArena yang cakupannya lebih luas, Carbon berada di peringkat bawah. Artinya, “pengembangan web satu halaman” dan “tugas desain Agent yang kompleks” adalah dimensi kemampuan yang berbeda, sehingga pemilihan model perlu disesuaikan dengan jenis tugas Anda.
Cara Menguji Ulang Carbon, Opus, dan Astra Lewat API
Hasil tes satu kali dari orang lain cukup dijadikan titik awal. Dasar yang paling bisa dipercaya tetap hasil uji di tugas Anda sendiri. Contoh di bawah ini memakai antarmuka yang kompatibel dengan OpenAI untuk mengirim petunjuk yang sama ke beberapa model secara berurutan, lalu mencatat durasi dan penggunaan Token. Perlu diingat, skrip ini hanya mengukur tahap model menghasilkan kode secara langsung. Pemanggilan alat berulang dan pemeriksaan mandiri lewat browser, seperti yang dilakukan Antigravity, Claude Code, dan Codex pada evaluasi aslinya, tidak ikut diukur.
Contoh Paling Sederhana
from openai import OpenAI
client = OpenAI(
api_key="YOUR_API_KEY",
base_url="https://api.apiyi.com/v1" # Antarmuka APIYI yang kompatibel dengan OpenAI
)
resp = client.chat.completions.create(
model="your-model-id", # Gunakan nama sebenarnya dari daftar model di platform
messages=[{"role": "user", "content": "输出一个单文件 HTML 食品品牌官网首屏,米白背景、居中悬浮产品罐头、酒红色弧形背景"}]
)
print(resp.choices[0].message.content[:500])
print(resp.usage) # Lihat Token input dan output
Lihat skrip lengkap untuk uji ulang beberapa model dengan soal yang sama
import time
from openai import OpenAI
client = OpenAI(
api_key="YOUR_API_KEY",
base_url="https://api.apiyi.com/v1" # Satu kunci untuk memanggil banyak model
)
# ID model mengikuti daftar model di platform; satuan harga adalah "dolar AS / juta Token", isi sesuai halaman harga resmi
MODELS = {
"model-a": {"input_price": 0.0, "output_price": 0.0},
"model-b": {"input_price": 0.0, "output_price": 0.0},
"model-c": {"input_price": 0.0, "output_price": 0.0},
}
PROMPT = """请复刻一个食品品牌官网首屏,输出单文件 HTML:
1. 米白色背景,中央悬浮产品罐头,酒红色弧形背景,橙色环绕文字;
2. 顶部包含品牌标志、语言切换和菜单按钮;
3. 罐头支持鼠标拖动旋转,悬停时有缩放反馈;
4. 同时适配 1440x900 和 390x844 两种尺寸。
只输出完整代码。"""
def run(model: str, price: dict) -> dict:
start = time.time()
resp = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": PROMPT}],
)
elapsed = time.time() - start
usage = resp.usage
cost = (usage.prompt_tokens * price["input_price"]
+ usage.completion_tokens * price["output_price"]) / 1_000_000
html = resp.choices[0].message.content
with open(f"{model}.html", "w", encoding="utf-8") as f:
f.write(html)
return {
"model": model,
"seconds": round(elapsed, 1),
"input_tokens": usage.prompt_tokens,
"output_tokens": usage.completion_tokens,
"api_equivalent_cost": round(cost, 4),
}
if __name__ == "__main__":
for name, price in MODELS.items():
try:
print(run(name, price))
except Exception as e:
print(name, "调用失败:", e)
Setelah skrip selesai berjalan, setiap model akan menghasilkan satu file HTML. Berikutnya, ikuti daftar periksa empat langkah dari putaran kedua: cek tata letak, interaksi, dan error di konsol browser satu per satu, lalu padukan dengan durasi dan biaya ekuivalen untuk mengambil kesimpulan. Supaya tidak terkecoh fluktuasi hasil tunggal, sebaiknya jalankan setiap model minimal tiga kali.
🚀 Saran untuk memulai dengan cepat: Saat membandingkan model dengan soal yang sama, bagian yang paling merepotkan biasanya mengurus kunci dari banyak penyedia dan menyesuaikan SDK yang berbeda-beda. Kami menyarankan menggunakan APIYI (apiyi.com) untuk langkah ini. Dengan satu kunci API, Anda bisa memanggil model-model utama seperti OpenAI, Claude, dan Gemini. Antarmukanya kompatibel dengan OpenAI, dan pengguna baru mendapat kuota uji coba gratis, jadi cocok untuk menjalankan alur perbandingan dengan sampel kecil terlebih dahulu.
Rekomendasi Skenario Carbon, Opus, Astra dan Saran Pengambilan Keputusan
Dari hasil pengujian ini dan data papan peringkat, Anda bisa melakukan penyaringan awal berdasarkan tujuan pengembangan. Kolom “Dasar” pada tabel di bawah sebisa mungkin menyebutkan jenis sumbernya, supaya Anda bisa menilai seberapa layak dijadikan acuan.
| Tujuan Pengembangan | Pertimbangan Utama | Dasar | Cara Verifikasi yang Disarankan |
|---|---|---|---|
| Sensitif terhadap biaya pemanggilan, butuh banyak eksplorasi dan iterasi | Gemini 4 Carbon | Biaya setara API paling rendah dalam pengujian ini (data hasil uji langsung) | Bandingkan akumulasi biaya dari beberapa putaran tugas kecil |
| Mengutamakan kemiripan visual, interaksi kompleks, dan tingkat penyelesaian tinggi | Claude Opus 5.5 | Menurut penilaian subjektif penulis, yang terbaik di antara ketiganya, dan unggul di kedua papan peringkat | Uji kemiripan layar demi layar dan penerimaan interaksi |
| Mengutamakan kecepatan penyelesaian dan efisiensi eksekusi | GPT-6 Astra | Waktu pengerjaan paling singkat dalam pengujian ini (data hasil uji langsung) | Hitung waktu pada tugas yang sama + penerimaan kualitas |
| Belum yakin harus memilih yang mana, ingin menjajaki dulu | Uji ulang sampel kecil dengan soal yang sama untuk ketiganya | Satu kali pengujian belum cukup untuk menarik kesimpulan | Bandingkan secara massal lewat antarmuka terpadu APIYI apiyi.com |
Kapan Memilih Carbon
- Tahap eksplorasi prototipe: Anda perlu mencoba berbagai opsi halaman dengan cepat, dan biaya per sekali jalan yang rendah berarti Anda bisa menjalankan lebih banyak putaran.
- Proyek pribadi atau tim dengan anggaran terbatas: Selama kualitasnya masih bisa diterima, selisih biaya pemanggilan jangka panjang akan terasa sekali.
- Pengembangan utama + pengawasan manual: Jalankan versi awal dengan Carbon, lalu biarkan orang atau model lain melakukan pemeriksaan akhir.
Kapan Memilih Opus
- Situs resmi brand dan landing page pemasaran: Tuntutan kemiripan visual dan detailnya tinggi, dan biaya mengerjakan ulang lebih mahal daripada biaya pemanggilan.
- Halaman dengan interaksi kompleks: Kalau ada banyak tampilan 3D, drag, atau animasi yang digerakkan scroll, tingkat penyelesaian akhir jadi lebih penting.
Kapan Memilih Astra
- Jadwal pengiriman mepet: Anda perlu mendapatkan halaman lengkap yang bisa langsung dijalankan dalam waktu singkat.
- Mengutamakan proses QA front-end: Pihak resmi menekankan pemeriksaan kualitas setelah pembuatan, sehingga cocok kalau tahap penerimaan ingin diserahkan ke alur kerja.
💡 Saran memilih: Pengujian ini memberikan gambaran perbandingan dari satu alur kerja nyata, bukan peringkat mutlak. Dasar keputusan akhirnya adalah: pada tugas Anda sendiri yang sama, solusi mana yang benar-benar berhasil berjalan, berapa biaya, dan berapa lama waktunya. Kami menyarankan Anda melakukan uji ulang skala kecil dengan petunjuk yang sama lewat APIYI apiyi.com, baru kemudian menentukan model utama.
Pertanyaan yang Sering Diajukan (FAQ)
Q1: Apa sebenarnya yang dibandingkan dalam tes situs web Carbon, Opus, dan Astra dengan soal yang sama?
Yang dibandingkan adalah kemampuan tiga alur kerja “model + alat pengembangan” dalam mereplikasi situs resmi Agrumea Farm. Cakupannya meliputi struktur halaman, gaya visual, carousel kaleng 3D, interaksi scroll dan drag, animasi loading dan hover, transisi antarhalaman, serta tata letak responsif. Tes ini mengukur kemampuan merekonstruksi desain, bukan selera estetika yang orisinal.
Q2: Kenapa Carbon paling murah, tapi peringkatnya dari penulis evaluasi justru paling bawah?
Biaya dan kualitas adalah dua dimensi yang terpisah. Carbon memakai Token input paling sedikit dan biaya ekuivalennya paling rendah. Namun, dari tangkapan layar terlihat proporsi kalengnya cenderung kecil dan sebagian detail teksnya kurang tajam, sehingga skornya kurang unggul pada kriteria “tingkat kemiripan”. Murah bukan berarti buruk. Hanya saja, untuk tugas replikasi kali ini, penulis lebih menghargai tingkat penyelesaian dari Opus.
Q3: Kapan tes ini dilakukan? Apakah hasilnya bisa cepat usang?
Evaluasi ini dipublikasikan pada 11 November 2026. Tes Opus dan Astra selesai pada 6 November, sedangkan tes Carbon dilakukan pada 10–11 November, bertepatan dengan perluasan akses Carbon pada 10 November. Model dan alat berkembang sangat cepat, jadi sebaiknya anggap kesimpulannya sebagai acuan untuk saat ini saja.
Q4: Apa bedanya biaya ekuivalen API dengan biaya langganan?
Biaya ekuivalen API adalah estimasi biaya berdasarkan jumlah Token yang dipakai dan harga satuan API, jadi mencerminkan konsumsi model yang sebenarnya. Biaya langganan adalah harga bulanan yang dihitung berdasarkan kuota dan aturan pengisian ulang. Untuk satu tugas yang sama, alat berlangganan mungkin hanya menghabiskan sebagian kuota, sedangkan pemanggilan berbasis pemakaian langsung menghasilkan tagihan. Saat memilih, hitung sesuai skema penagihan yang benar-benar Anda gunakan.
Q5: Bagaimana cara membandingkan hasil pengembangan web dari ketiga jenis model ini lewat API dengan cepat?
Anda bisa mengikuti skrip uji ulang di artikel ini:
1. Daftar di APIYI apiyi.com, lalu ambil API Key dan kuota uji coba gratis;
2. Atur `base_url` ke `https://api.apiyi.com/v1`, lalu pastikan nama model yang ingin dibandingkan di daftar model platform;
3. Panggil model satu per satu dengan petunjuk yang sama, catat durasi dan penggunaan Token, lalu periksa halaman hasilnya di browser.
Q6: Apakah satu kali panggilan API bisa mereproduksi hasil evaluasi aslinya?
Tidak bisa sepenuhnya. Evaluasi aslinya dijalankan di Antigravity, Claude Code, dan Codex, dengan banyak putaran baca-tulis file serta pemeriksaan mandiri lewat browser, dan masing-masing memakan waktu lebih dari satu jam. Satu kali panggilan hanya menguji kemampuan model menghasilkan kode secara langsung, jadi cocok untuk penyaringan awal. Kalau ingin mendekati tes aslinya, Anda perlu membangun alur Agent dengan verifikasi lewat browser.
Q7: Apa saja keterbatasan tes ini?
Ada tiga yang utama: setiap model hanya dijalankan sekali sehingga ada unsur kebetulan; lingkungan alat dan tanggal tes ketiganya berbeda sehingga performa model itu sendiri tidak bisa dipisahkan; dan peringkat berasal dari penilaian subjektif penulis. Selain itu, tangkapan layar statis tidak bisa membuktikan apakah interaksinya diimplementasikan dengan lengkap. Jadi tes ini cocok sebagai contoh kasus, bukan sebagai peringkat umum.
Poin Utama Carbon, Opus, dan Astra (Key Takeaways)
- Sifat pengujian: Tugas yang sama, yaitu mereplikasi sebuah situs resmi, dijalankan satu kali pada masing-masing dari tiga alur kerja. Ini adalah pengamatan perbandingan di skenario nyata.
- Kualitas desain: Penulis paling menyukai Opus, disusul Astra, dan Carbon di urutan terakhir.
- Kecepatan: Astra paling cepat dengan waktu 68 menit, sekitar setengah dari waktu Opus.
- Biaya: Biaya ekuivalen Carbon adalah 10,86 dolar AS, sekitar 18% dari Opus dan 12% dari Astra.
- Struktur biaya: Pengembangan Agent didominasi token input, sehingga harga per satuan dan aturan cache juga menentukan tagihan.
- Referensi peringkat: Opus unggul di Arena WebDev maupun peringkat gabungan DesignArena, tetapi tiap peringkat punya cakupan dan metode penilaian yang berbeda.
- Cara memulai: Lewat APIYI (apiyi.com), Anda bisa memakai satu kunci API untuk menjalankan uji ulang sampel kecil dengan soal yang sama, lalu menentukan model andalan.
Kesimpulan
Dari perbandingan Carbon, Opus, dan Astra dalam membuat satu situs yang sama, ada tiga kesimpulan utama:
- Hasil: Dalam tugas replikasi kali ini, karya Opus mendapat penilaian tertinggi dari penulis evaluasi. Produk utamanya lebih menonjol dan hierarki visualnya lebih jelas.
- Kecepatan: Astra menyelesaikan tugas hanya dalam 68 menit, cocok untuk proyek dengan tenggat yang ketat.
- Biaya: Biaya ekuivalen API Carbon jauh lebih rendah dibanding dua model lainnya, cocok untuk iterasi frekuensi tinggi dan skenario yang sensitif terhadap anggaran.
Ketiga model sudah mampu menyelesaikan pengembangan web berkualitas tinggi. Perbedaannya ada pada pertimbangan antara kesetiaan visual, implementasi interaksi, waktu pengerjaan, dan biaya. Daripada bertanya model mana yang paling unggul secara mutlak, lebih baik tentukan dulu tujuan pengembangan Anda, lalu jalankan sendiri pada tugas yang sama. Kami menyarankan memakai APIYI (apiyi.com) untuk menguji beberapa model lewat satu antarmuka, dan menjadikan karya yang benar-benar berjalan serta biaya aktualnya sebagai dasar pemilihan akhir.
📚 Referensi
- Gemini 4 Carbon: No-Hype Full Review & Testing: Evaluasi kloning situs dengan topik yang sama oleh Pat Simmons / AI for Mortals, 2026-11-11
- Tautan:
aiformortals.co/blog/gemini-4-carbon-review -
Keterangan: Sumber utama untuk pengaturan pengujian, durasi, Token, dan data biaya setara API dalam artikel ini
-
Tiga halaman hasil kloning: Karya publik dari Carbon, Opus 5.5, dan Astra
- Tautan:
aiformortals.co/builds/agrumea-clone-gemini-4-carbon,aiformortals.co/builds/agrumea-clone-opus-5-5,aiformortals.co/builds/agrumea-clone-gpt-6-astra -
Keterangan: Efek interaksinya bisa Anda periksa sendiri lewat browser
-
Situs resmi Agrumea Farm: Situs asli yang menjadi objek pengujian
- Tautan:
agrumeafarm.it/en -
Keterangan: Dipakai sebagai pembanding untuk menilai seberapa mirip hasil kloningnya
-
Papan peringkat Arena WebDev: Papan peringkat adu voting untuk pengembangan web
- Tautan:
arena.ai/leaderboard/code/webdev -
Keterangan: Artikel ini mengutip data per 2026-11-10
-
Papan peringkat DesignArena: Papan peringkat desain Agentic secara menyeluruh
- Tautan:
designarena.ai/leaderboard -
Keterangan: Artikel ini mengutip data per 2026-11-11, mencakup berbagai jenis tugas desain
-
Blog resmi Google: Pengumuman rilis terbuka Gemini 4 Carbon
- Tautan:
blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-4-carbon-now-available/ -
Keterangan: Posisi resmi Carbon dalam desain front-end dan verifikasi lewat browser
-
Pengantar resmi OpenAI: GPT-6 Astra
- Tautan:
openai.com/index/gpt-6-astra/ -
Keterangan: Penjelasan alur kerja pengembangan web dan QA front-end pada Astra
-
Pengujian Woofocus: Perbandingan desain web antar berbagai model Claude, 2026-10-24
- Tautan:
app.woofocus.com/blog/best-claude-model-for-web-design - Keterangan: Referensi tambahan untuk tugas desain dan revisi pada Opus 5.5, bukan perbandingan langsung ketiga model
Penulis: Tim Teknis APIYI
Diskusi teknis: Silakan hubungi kami lewat beranda situs APIYI. Materi integrasi lainnya tersedia di pusat dokumentasi docs.apiyi.com
