Plotly tetap merekomendasikan Hydrogen, karena perubahan skor kali ini hanya membuat Gemini 4 Neon menyamai Hydrogen, bukan melampauinya. Dalam putaran evaluasi yang sama, keduanya meraih skor sempurna, tetapi biaya keseluruhan Hydrogen sekitar sepertiga dari Neon, dan waktu median per soalnya juga lebih singkat. Setelah skor imbang, perbandingan pun beralih ke biaya dan kecepatan; Hydrogen unggul di kedua aspek tersebut.
Perlu ditegaskan satu hal lagi: kali ini evaluator pihak ketiga, Plotly, yang merevisi aturan penilaian, bukan Google yang meningkatkan model.
Apa yang bisa Anda pahami setelah membaca artikel ini?
- Mengapa Plotly pada 19 November mengubah skor Gemini 4 Neon dari 42/43 menjadi 43/43.
- Skor, biaya keseluruhan, dan waktu per soal Neon, Hydrogen, serta Carbon dalam putaran evaluasi yang sama.
- Kesimpulan mana yang bisa langsung dipakai untuk memilih model bagi tugas analisis data, dan mana yang tidak.
Indeks: Artikel ini mula-mula menjelaskan beberapa konsep kunci lewat sebuah tabel, lalu merangkum dampaknya bagi tiap kelompok pembaca. Bagian “Fakta Objektif” di teks utama menjelaskan secara berurutan evaluasi awal, isi koreksi, dan hasil pada putaran yang sama; bagian “Analisis dan Penilaian” menjelaskan alasan Hydrogen unggul, serta batas keberlakuan daftar peringkat ini dalam pemilihan model.

Pendahuluan Berita Perubahan Skor Gemini 4 Neon: Penjelasan Konsep yang Perlu Diketahui
| Konsep | Penjelasan Singkat |
|---|---|
| Plotly | Perusahaan penyedia alat visualisasi dan analisis data, sekaligus penyelenggara pihak ketiga dalam evaluasi ini, bukan vendor model |
| DataAnalyticsBench | Evaluasi analisis data yang dirilis Plotly, kumpulan soalnya bersifat privat dan berbasis data sintetis tenaga angin |
| Plotly Studio Embedded | Lingkungan pengujian agen (Agent) yang dipakai dalam evaluasi ini; semua model menjawab di lingkungan tersebut |
| Aturan Penilaian (Rubric) | Standar untuk menilai benar atau salahnya jawaban; yang diperbaiki dalam koreksi kali ini adalah aturan pada salah satu soal |
| Data Sintetis | Data simulasi yang dibuat secara artifisial, dipakai untuk menyusun soal yang terkontrol |
| Sampel Tunggal | Setiap model hanya dijalankan satu putaran penuh, tanpa pengulangan berkali-kali untuk mengambil rata-rata |
| Waktu Median per Soal | Median waktu pengerjaan seluruh soal; pada perhitungan kali ini termasuk waktu kueri |
| Harga OpenRouter | Dasar perhitungan biaya keseluruhan kali ini, dihitung memakai harga OpenRouter pada hari masing-masing model dijalankan |
Sekilas Dampak Skor Penuh Gemini 4 Neon bagi Berbagai Kelompok
| Kelompok | Dampak |
|---|---|
| Pengembang yang memilih model Google untuk tugas analisis data | Akurasi Neon dan Hydrogen imbang; Hydrogen yang lebih hemat dan lebih cepat tetap menjadi pilihan utama |
| Tim yang sudah memakai Neon | Perubahan skor menunjukkan kemampuan analisis Neon selama ini diremehkan oleh aturan lama, tetapi biaya dan waktu pengerjaannya tidak berubah |
| Peneliti yang mencermati metode evaluasi | Ini adalah contoh kasus aturan soal salah menilai masalah nyata lalu dikoreksi, yang menunjukkan kumpulan soal privat pun perlu ditinjau ulang |
| Pengguna umum | Modelnya sendiri tidak berubah; perubahan kali ini berasal dari aturan penilaian pihak evaluator |
Koreksi Skor Benchmark Gemini 4 Neon: Fakta Objektif
Evaluasi Awal Plotly: Gemini 4 Neon Pertama Kali Dilaporkan 42/43
Artikel evaluasi asli Plotly bertanggal 2026-11-18, dan skor Gemini 4 Neon yang diumumkan saat itu adalah 42/43. Informasi rilis Gemini 4 Neon berasal dari blog resmi Google, sedangkan evaluasinya dilakukan oleh Plotly sebagai organisasi pihak ketiga yang independen.
Pengujian dilakukan dalam lingkungan agen Plotly Studio Embedded, dengan kumpulan soal berupa kumpulan soal privat yang dibangun berdasarkan data tenaga angin sintetis. Jenis soal mencakup beberapa kategori berikut:
- Analisis data rutin
- Permintaan ambigu
- Permintaan yang tidak dapat dijawab
- Kualitas data
- Jebakan statistik
- Pola tersembunyi
Koreksi 19 November: Gemini 4 Neon dari 42 menjadi nilai penuh
Plotly menambahkan paragraf koreksi pada artikel asli, bertanggal 19 November, tanpa mencantumkan waktu dan zona waktu secara spesifik.
Masalahnya ada pada satu soal kualitas data. Aturan penilaian awal menganggap dua masalah nyata dalam data sintetis sebagai hal yang tidak relevan, sehingga jika model menunjukkan kedua masalah itu dalam jawabannya, model justru dinilai salah. Artinya, model menjawab dengan benar, tetapi aturan penilaiannya yang menghukum.
Cara Plotly menanganinya adalah sebagai berikut:
- Merevisi aturan penilaian soal tersebut;
- Menilai ulang model yang sebelumnya tidak lolos soal itu;
- Memeriksa secara manual semua perubahan skor yang terjadi karenanya;
- Memverifikasi secara manual seluruh 43 jawaban Neon satu per satu.
Setelah koreksi, Neon menjadi 43/43. Carbon tetap 42/43, skornya tidak berubah.

| Item | Sebelum koreksi | Setelah koreksi |
|---|---|---|
| Skor Gemini 4 Neon | 42/43 | 43/43 |
| Skor Carbon | 42/43 | 42/43 (tidak berubah) |
| Alasan perubahan | — | Aturan penilaian satu soal kualitas data direvisi |
| Model itu sendiri | Tidak berubah | Tidak berubah, bukan peningkatan model dari Google |
| Tanggal koreksi | Artikel asli bertanggal 2026-11-18 | Paragraf koreksi bertanggal 19 November, tanpa waktu dan zona waktu |
Hasil evaluasi pada putaran yang sama: Neon, Hydrogen, dan Carbon
Semua data di bawah ini berasal dari putaran dan lingkungan pengujian yang sama milik Plotly. GPT-6.1 Sol hanya dicantumkan sebagai referensi lintas vendor dan tidak termasuk dalam rekomendasi Plotly untuk model Google.
| Model | Skor | Biaya seluruh set | Waktu median per soal |
|---|---|---|---|
| Gemini 4 Neon | 43/43 | $17.03 | 46 detik |
| Hydrogen | 43/43 | $6.36 | 32 detik |
| Carbon | 42/43 | $11.55 | 93 detik |
| GPT-6.1 Sol (referensi) | 43/43 | $2.61 | 18 detik |
Saat membaca tabel ini, ada beberapa catatan yang perlu diperhatikan:
- Biaya seluruh set dihitung berdasarkan harga OpenRouter pada hari masing-masing model dijalankan, sehingga tidak sama dengan harga resmi Google atau harga di platform lain.
- Waktu median per soal mencakup waktu kueri, jadi bukan murni waktu pembuatan model.
- Satu sampel: Plotly menjelaskan bahwa setiap model hanya dijalankan satu putaran. Pada pengujian berulang sebelumnya, skor model lain pernah berfluktuasi hingga tiga soal.

Sumber Informasi
- Evaluasi dan koreksi asli Plotly: plotly.com/blog/gemini-4-neon-plotly-data-analytics-bench/
- Papan skor lengkap dan metodologi Plotly: plotly.com/blog/introducing-dataanalyticsbench/
- Peluncuran produk Google: blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-neon/
Mengapa Plotly Tetap Merekomendasikan Hydrogen: Analisis dan Pertimbangan
Skor Sempurna Hanya Menyamakan, Pemilihan Model Harus Melihat Biaya dan Kecepatan
Setelah koreksi skor, Neon dan Hydrogen tidak lagi bisa dibedakan dari segi akurasi. Dihitung berdasarkan data putaran yang sama, total biaya Neon sekitar 2,7 kali Hydrogen, dan waktu median per soal sekitar 1,4 kali. Ketika akurasinya sama, pihak yang lebih murah dan lebih cepat tentu lebih menguntungkan, jadi kesimpulan rekomendasi Plotly tidak perlu disesuaikan dengan koreksi skor ini.
Situasi Carbon lebih jelas lagi. Skornya kurang satu soal, biayanya lebih tinggi daripada Hydrogen, dan waktu per soalnya hampir tiga kali Hydrogen. Dalam perbandingan kelompok ini, Carbon tidak punya keunggulan yang mencolok.
Apa Arti Koreksi Skor: Penilaian Kualitas Data Neon Selama Ini Diremehkan
Koreksi ini merupakan informasi positif bagi Neon. Yang salah dinilai oleh aturan awal justru soal kualitas data, dan alasan Neon dinilai salah adalah karena ia menunjukkan masalah nyata yang ada dalam data. Untuk tugas analisis yang membutuhkan penemuan data kotor dan nilai anomali, ini menunjukkan bahwa Neon punya kemampuan identifikasi yang sesuai.
Namun, koreksi skor hanya memengaruhi satu aspek, yaitu akurasi. Biaya dan kecepatan Neon tidak berubah karenanya. Plotly memverifikasi secara manual seluruh 43 jawaban Neon satu per satu, membuat skor sempurna ini lebih dapat dipercaya daripada penilaian otomatis, tetapi tidak mengubah posisinya dalam hal biaya.
Kesimpulan Mana yang Bisa Dipakai untuk Pemilihan Model, Mana yang Tidak
| Kesimpulan | Apakah bisa langsung dipakai untuk pemilihan model | Alasan |
|---|---|---|
| Di antara model Google, prioritaskan Hydrogen untuk tugas analisis data | Bisa, tetapi perlu membatasi konteks | Rekomendasi Plotly terbatas pada pengujian mereka dan cakupan pilihan model Google |
| Akurasi Neon dan Hydrogen setara | Gunakan dengan hati-hati | Pengujian sampel tunggal; saat model lain diuji ulang, skor pernah berfluktuasi hingga tiga soal |
| Biaya Neon sekitar 2,7 kali Hydrogen | Bisa dijadikan referensi relatif | Dihitung berdasarkan harga OpenRouter pada hari pengujian, harga satuan sebenarnya bisa berbeda |
| Hydrogen lebih cepat daripada Neon | Bisa dijadikan referensi relatif | Waktu mencakup waktu kueri, dipengaruhi lingkungan pengujian |
| Hydrogen adalah yang terbaik untuk analisis data di antara semua model | Tidak bisa | Pembanding lintas vendor pada putaran yang sama, GPT-6.1 Sol, lebih murah dan lebih cepat |
| Neon adalah peningkatan versi model | Tidak bisa | Ini adalah revisi penilaian, modelnya sendiri tidak berubah |
Beberapa Hal yang Layak Diperhatikan ke Depannya
Perlu dijelaskan bahwa berikut ini adalah prediksi dan arah pengamatan, bukan fakta yang sudah terjadi:
- Jika Plotly nantinya merilis hasil pengujian berulang dalam beberapa putaran, selisih dalam satu soal antara Neon dan Hydrogen mungkin akan berubah urutan, dan saat itulah akurasi bisa dibandingkan dengan lebih stabil.
- Urutan biaya bergantung pada harga. Jika harga masing-masing model disesuaikan, urutan biaya yang dihitung ulang dengan jumlah soal yang sama juga bisa ikut berubah.
- Kumpulan soal privat juga bisa mengalami kesalahan penilaian oleh aturan. Koreksi ini mengingatkan pembaca bahwa saat membaca evaluasi, selain melihat skor total, juga perlu melihat apakah pihak penilai mempublikasikan proses koreksi dan verifikasi manualnya.
Bagi pembaca yang sedang memilih model untuk tugas analisis data, makna praktis dari berita ini adalah: Neon tidak lagi dinilai rendah oleh aturan penilaian, tetapi dalam pengujian Plotly ini, Hydrogen di antara model Google tetap lebih hemat biaya dan lebih cepat.
Skor sempurna Gemini 4 Neon mengoreksi sebuah kesalahan penilaian, sementara rekomendasi Hydrogen didasarkan pada pertimbangan nilai harga. Kedua hal ini tidak saling bertentangan. Seperti kata pepatah Inggris: “Price is what you pay; value is what you get.” (Harga adalah yang Anda bayarkan; nilai adalah yang Anda dapatkan.)
