|

Skor Benchmark Analisis Data Gemini 4 Neon Diubah Menjadi Nilai Penuh, Mengapa Plotly Masih Merekomendasikan Hydrogen?

Skor Benchmark Analisis Data Gemini 4 Neon Diubah Menjadi Nilai Penuh, Mengapa Plotly Masih Merekomendasikan Hydrogen?

Plotly tetap merekomendasikan Hydrogen, karena perubahan skor kali ini hanya membuat Gemini 4 Neon menyamai Hydrogen, bukan melampauinya. Dalam putaran evaluasi yang sama, keduanya meraih skor sempurna, tetapi biaya keseluruhan Hydrogen sekitar sepertiga dari Neon, dan waktu median per soalnya juga lebih singkat. Setelah skor imbang, perbandingan pun beralih ke biaya dan kecepatan; Hydrogen unggul di kedua aspek tersebut.

Perlu ditegaskan satu hal lagi: kali ini evaluator pihak ketiga, Plotly, yang merevisi aturan penilaian, bukan Google yang meningkatkan model.

Apa yang bisa Anda pahami setelah membaca artikel ini?

  • Mengapa Plotly pada 19 November mengubah skor Gemini 4 Neon dari 42/43 menjadi 43/43.
  • Skor, biaya keseluruhan, dan waktu per soal Neon, Hydrogen, serta Carbon dalam putaran evaluasi yang sama.
  • Kesimpulan mana yang bisa langsung dipakai untuk memilih model bagi tugas analisis data, dan mana yang tidak.

Indeks: Artikel ini mula-mula menjelaskan beberapa konsep kunci lewat sebuah tabel, lalu merangkum dampaknya bagi tiap kelompok pembaca. Bagian “Fakta Objektif” di teks utama menjelaskan secara berurutan evaluasi awal, isi koreksi, dan hasil pada putaran yang sama; bagian “Analisis dan Penilaian” menjelaskan alasan Hydrogen unggul, serta batas keberlakuan daftar peringkat ini dalam pemilihan model.

gemini-4-neon-plotly-data-analytics-bench-perfect-score-hydrogen-id-image-0


Pendahuluan Berita Perubahan Skor Gemini 4 Neon: Penjelasan Konsep yang Perlu Diketahui

Konsep Penjelasan Singkat
Plotly Perusahaan penyedia alat visualisasi dan analisis data, sekaligus penyelenggara pihak ketiga dalam evaluasi ini, bukan vendor model
DataAnalyticsBench Evaluasi analisis data yang dirilis Plotly, kumpulan soalnya bersifat privat dan berbasis data sintetis tenaga angin
Plotly Studio Embedded Lingkungan pengujian agen (Agent) yang dipakai dalam evaluasi ini; semua model menjawab di lingkungan tersebut
Aturan Penilaian (Rubric) Standar untuk menilai benar atau salahnya jawaban; yang diperbaiki dalam koreksi kali ini adalah aturan pada salah satu soal
Data Sintetis Data simulasi yang dibuat secara artifisial, dipakai untuk menyusun soal yang terkontrol
Sampel Tunggal Setiap model hanya dijalankan satu putaran penuh, tanpa pengulangan berkali-kali untuk mengambil rata-rata
Waktu Median per Soal Median waktu pengerjaan seluruh soal; pada perhitungan kali ini termasuk waktu kueri
Harga OpenRouter Dasar perhitungan biaya keseluruhan kali ini, dihitung memakai harga OpenRouter pada hari masing-masing model dijalankan

Sekilas Dampak Skor Penuh Gemini 4 Neon bagi Berbagai Kelompok

Kelompok Dampak
Pengembang yang memilih model Google untuk tugas analisis data Akurasi Neon dan Hydrogen imbang; Hydrogen yang lebih hemat dan lebih cepat tetap menjadi pilihan utama
Tim yang sudah memakai Neon Perubahan skor menunjukkan kemampuan analisis Neon selama ini diremehkan oleh aturan lama, tetapi biaya dan waktu pengerjaannya tidak berubah
Peneliti yang mencermati metode evaluasi Ini adalah contoh kasus aturan soal salah menilai masalah nyata lalu dikoreksi, yang menunjukkan kumpulan soal privat pun perlu ditinjau ulang
Pengguna umum Modelnya sendiri tidak berubah; perubahan kali ini berasal dari aturan penilaian pihak evaluator

Koreksi Skor Benchmark Gemini 4 Neon: Fakta Objektif

Evaluasi Awal Plotly: Gemini 4 Neon Pertama Kali Dilaporkan 42/43

Artikel evaluasi asli Plotly bertanggal 2026-11-18, dan skor Gemini 4 Neon yang diumumkan saat itu adalah 42/43. Informasi rilis Gemini 4 Neon berasal dari blog resmi Google, sedangkan evaluasinya dilakukan oleh Plotly sebagai organisasi pihak ketiga yang independen.

Pengujian dilakukan dalam lingkungan agen Plotly Studio Embedded, dengan kumpulan soal berupa kumpulan soal privat yang dibangun berdasarkan data tenaga angin sintetis. Jenis soal mencakup beberapa kategori berikut:

  • Analisis data rutin
  • Permintaan ambigu
  • Permintaan yang tidak dapat dijawab
  • Kualitas data
  • Jebakan statistik
  • Pola tersembunyi

Koreksi 19 November: Gemini 4 Neon dari 42 menjadi nilai penuh

Plotly menambahkan paragraf koreksi pada artikel asli, bertanggal 19 November, tanpa mencantumkan waktu dan zona waktu secara spesifik.

Masalahnya ada pada satu soal kualitas data. Aturan penilaian awal menganggap dua masalah nyata dalam data sintetis sebagai hal yang tidak relevan, sehingga jika model menunjukkan kedua masalah itu dalam jawabannya, model justru dinilai salah. Artinya, model menjawab dengan benar, tetapi aturan penilaiannya yang menghukum.

Cara Plotly menanganinya adalah sebagai berikut:

  1. Merevisi aturan penilaian soal tersebut;
  2. Menilai ulang model yang sebelumnya tidak lolos soal itu;
  3. Memeriksa secara manual semua perubahan skor yang terjadi karenanya;
  4. Memverifikasi secara manual seluruh 43 jawaban Neon satu per satu.

Setelah koreksi, Neon menjadi 43/43. Carbon tetap 42/43, skornya tidak berubah.

gemini-4-neon-plotly-data-analytics-bench-perfect-score-hydrogen-id-image-1

Item Sebelum koreksi Setelah koreksi
Skor Gemini 4 Neon 42/43 43/43
Skor Carbon 42/43 42/43 (tidak berubah)
Alasan perubahan — Aturan penilaian satu soal kualitas data direvisi
Model itu sendiri Tidak berubah Tidak berubah, bukan peningkatan model dari Google
Tanggal koreksi Artikel asli bertanggal 2026-11-18 Paragraf koreksi bertanggal 19 November, tanpa waktu dan zona waktu

Hasil evaluasi pada putaran yang sama: Neon, Hydrogen, dan Carbon

Semua data di bawah ini berasal dari putaran dan lingkungan pengujian yang sama milik Plotly. GPT-6.1 Sol hanya dicantumkan sebagai referensi lintas vendor dan tidak termasuk dalam rekomendasi Plotly untuk model Google.

Model Skor Biaya seluruh set Waktu median per soal
Gemini 4 Neon 43/43 $17.03 46 detik
Hydrogen 43/43 $6.36 32 detik
Carbon 42/43 $11.55 93 detik
GPT-6.1 Sol (referensi) 43/43 $2.61 18 detik

Saat membaca tabel ini, ada beberapa catatan yang perlu diperhatikan:

  • Biaya seluruh set dihitung berdasarkan harga OpenRouter pada hari masing-masing model dijalankan, sehingga tidak sama dengan harga resmi Google atau harga di platform lain.
  • Waktu median per soal mencakup waktu kueri, jadi bukan murni waktu pembuatan model.
  • Satu sampel: Plotly menjelaskan bahwa setiap model hanya dijalankan satu putaran. Pada pengujian berulang sebelumnya, skor model lain pernah berfluktuasi hingga tiga soal.

gemini-4-neon-plotly-data-analytics-bench-perfect-score-hydrogen-id-image-2

Sumber Informasi

  • Evaluasi dan koreksi asli Plotly: plotly.com/blog/gemini-4-neon-plotly-data-analytics-bench/
  • Papan skor lengkap dan metodologi Plotly: plotly.com/blog/introducing-dataanalyticsbench/
  • Peluncuran produk Google: blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-neon/

Mengapa Plotly Tetap Merekomendasikan Hydrogen: Analisis dan Pertimbangan

Skor Sempurna Hanya Menyamakan, Pemilihan Model Harus Melihat Biaya dan Kecepatan

Setelah koreksi skor, Neon dan Hydrogen tidak lagi bisa dibedakan dari segi akurasi. Dihitung berdasarkan data putaran yang sama, total biaya Neon sekitar 2,7 kali Hydrogen, dan waktu median per soal sekitar 1,4 kali. Ketika akurasinya sama, pihak yang lebih murah dan lebih cepat tentu lebih menguntungkan, jadi kesimpulan rekomendasi Plotly tidak perlu disesuaikan dengan koreksi skor ini.

Situasi Carbon lebih jelas lagi. Skornya kurang satu soal, biayanya lebih tinggi daripada Hydrogen, dan waktu per soalnya hampir tiga kali Hydrogen. Dalam perbandingan kelompok ini, Carbon tidak punya keunggulan yang mencolok.

Apa Arti Koreksi Skor: Penilaian Kualitas Data Neon Selama Ini Diremehkan

Koreksi ini merupakan informasi positif bagi Neon. Yang salah dinilai oleh aturan awal justru soal kualitas data, dan alasan Neon dinilai salah adalah karena ia menunjukkan masalah nyata yang ada dalam data. Untuk tugas analisis yang membutuhkan penemuan data kotor dan nilai anomali, ini menunjukkan bahwa Neon punya kemampuan identifikasi yang sesuai.

Namun, koreksi skor hanya memengaruhi satu aspek, yaitu akurasi. Biaya dan kecepatan Neon tidak berubah karenanya. Plotly memverifikasi secara manual seluruh 43 jawaban Neon satu per satu, membuat skor sempurna ini lebih dapat dipercaya daripada penilaian otomatis, tetapi tidak mengubah posisinya dalam hal biaya.

Kesimpulan Mana yang Bisa Dipakai untuk Pemilihan Model, Mana yang Tidak

Kesimpulan Apakah bisa langsung dipakai untuk pemilihan model Alasan
Di antara model Google, prioritaskan Hydrogen untuk tugas analisis data Bisa, tetapi perlu membatasi konteks Rekomendasi Plotly terbatas pada pengujian mereka dan cakupan pilihan model Google
Akurasi Neon dan Hydrogen setara Gunakan dengan hati-hati Pengujian sampel tunggal; saat model lain diuji ulang, skor pernah berfluktuasi hingga tiga soal
Biaya Neon sekitar 2,7 kali Hydrogen Bisa dijadikan referensi relatif Dihitung berdasarkan harga OpenRouter pada hari pengujian, harga satuan sebenarnya bisa berbeda
Hydrogen lebih cepat daripada Neon Bisa dijadikan referensi relatif Waktu mencakup waktu kueri, dipengaruhi lingkungan pengujian
Hydrogen adalah yang terbaik untuk analisis data di antara semua model Tidak bisa Pembanding lintas vendor pada putaran yang sama, GPT-6.1 Sol, lebih murah dan lebih cepat
Neon adalah peningkatan versi model Tidak bisa Ini adalah revisi penilaian, modelnya sendiri tidak berubah

Beberapa Hal yang Layak Diperhatikan ke Depannya

Perlu dijelaskan bahwa berikut ini adalah prediksi dan arah pengamatan, bukan fakta yang sudah terjadi:

  • Jika Plotly nantinya merilis hasil pengujian berulang dalam beberapa putaran, selisih dalam satu soal antara Neon dan Hydrogen mungkin akan berubah urutan, dan saat itulah akurasi bisa dibandingkan dengan lebih stabil.
  • Urutan biaya bergantung pada harga. Jika harga masing-masing model disesuaikan, urutan biaya yang dihitung ulang dengan jumlah soal yang sama juga bisa ikut berubah.
  • Kumpulan soal privat juga bisa mengalami kesalahan penilaian oleh aturan. Koreksi ini mengingatkan pembaca bahwa saat membaca evaluasi, selain melihat skor total, juga perlu melihat apakah pihak penilai mempublikasikan proses koreksi dan verifikasi manualnya.

Bagi pembaca yang sedang memilih model untuk tugas analisis data, makna praktis dari berita ini adalah: Neon tidak lagi dinilai rendah oleh aturan penilaian, tetapi dalam pengujian Plotly ini, Hydrogen di antara model Google tetap lebih hemat biaya dan lebih cepat.

Skor sempurna Gemini 4 Neon mengoreksi sebuah kesalahan penilaian, sementara rekomendasi Hydrogen didasarkan pada pertimbangan nilai harga. Kedua hal ini tidak saling bertentangan. Seperti kata pepatah Inggris: “Price is what you pay; value is what you get.” (Harga adalah yang Anda bayarkan; nilai adalah yang Anda dapatkan.)

Similar Posts