Cara Benchmark AI Diukur dan Mengapa Mereka Menyesatkan

Ketika Anthropic melaporkan bahwa Claude Opus mencapai skor 88 persen pada MMLU, atau OpenAI klaim GPT-4 mengungguli manusia dalam ujian hukum, angka-angka ini membentuk narasi tentang kemampuan model. Benchmark telah menjadi alat utama untuk membandingkan sistem AI yang berbeda, membimbing investasi miliaran dolar dan keputusan adopsi perusahaan. Namun skor benchmark tinggi sering tidak selaras dengan kinerja nyata ketika pengguna berinteraksi dengan model, dan pemahaman tentang cara pengukuran ini dilakukan mengungkap celah signifikan antara angka-angka yang dipublikasikan dan kenyataan operasional.

Apa Itu Benchmark AI dan Bagaimana Diukur

Benchmark AI adalah serangkaian tugas standar yang dirancang untuk mengevaluasi kemampuan model dalam dimensi spesifik. Proses pengukuran dimulai dengan memilih dataset yang berisi ribuan hingga ratusan ribu contoh masalah dan jawaban yang benar. Model menerima prompt untuk setiap masalah, output-nya dibandingkan dengan jawaban referensi, dan skor dihitung sebagai persentase jawaban yang tepat.

Dataset dan Scoring Methods

Sebuah benchmark standar seperti MMLU terdiri dari 15.000 pertanyaan pilihan ganda yang mencakup subjek dari matematika hingga sejarah, ditampilkan dalam empat pilihan jawaban. Scoring adalah biner: jawaban benar atau salah. Untuk tugas yang lebih kompleks seperti generasi kode, benchmark seperti HumanEval menjalankan output model terhadap test case untuk melihat apakah fungsi yang dihasilkan bekerja. Dalam kasus penilaian subjektif seperti kualitas teks, peneliti menggunakan sistem pemeringkatan skala Likert atau perbandingan berpasangan, di mana satu jawaban dibandingkan langsung dengan yang lain.

Standarisasi dan Reproducibility

Proyek seperti HELM dari Stanford mencoba menstandarkan cara benchmark dilaporkan, menunjukkan bukan hanya skor akurasi tetapi juga trade-off antara kecepatan dan akurasi, biaya komputasi, dan kinerja pada subkelompok data. Namun reproducibility tetap menjadi tantangan. Versi model yang sedikit berbeda, parameter konfigurasi yang berbeda seperti temperature (pengaturan yang mengontrol randomness output), atau bahkan urutan contoh yang disajikan kepada model dapat mengubah skor secara signifikan. Dua peneliti yang menjalankan benchmark yang sama pada model yang sama kadang-kadang melaporkan angka yang berbeda.

Jenis-Jenis Benchmark Utama dalam Penggunaan

Industri telah mengkonsolidasikan seputar beberapa benchmark inti yang memecah kemampuan AI menjadi kategori yang terukur.

Pengetahuan dan Reasoning

MMLU mengukur pengetahuan umum dan reasoning logis di seluruh 57 subjek. GSM8K menguji kemampuan reasoning matematika dengan 8.500 soal cerita. HellaSwag mengukur common sense reasoning dengan skenario video yang memerlukan prediksi tindakan selanjutnya. Skor pada benchmark ini mendominasi narasi industri: ketika perusahaan membandingkan model baru mereka dengan pesaing, mereka sering menunjukkan hanya MMLU dan GSM8K.

Kemampuan Khusus dan Kode

HumanEval berisi 164 tugas programming dalam Python yang mengharuskan model menghasilkan fungsi lengkap yang melewati test case tersembunyi. MBPP (Mostly Basic Programming Problems) menawarkan 1.000 masalah tingkat pengantar. Untuk bahasa non-Inggris, MGSM (Multilingual Grade School Math) menjalankan reasoning matematika dalam 10 bahasa. Benchmark ini lebih sulit untuk dimanipulasi karena keluaran dapat diverifikasi oleh eksekusi kode, tetapi mereka juga terbatas pada tugas-tugas tertentu yang mungkin tidak mewakili pekerjaan coding nyata.

Kualitas Percakapan

LMSYS Chatbot Arena meminta pengguna untuk membandingkan output dua model pada pertanyaan bebas, mengumpulkan puluhan ribu penilaian untuk membangun peringkat Elo. Pendekatan ini lebih dekat dengan pengalaman pengguna nyata, tetapi bergantung pada kesubjektifan manusia dan pengguna yang berpartisipasi mungkin memiliki bias dalam hal model mana yang mereka pilih.

Mengapa Benchmark Menyesatkan

Kontaminasi Data Test

Sejak GPT-3 diluncurkan pada 2020, model besar dilatih pada jumlah data internet yang masif. Banyak data pelatihan ini mencakup contoh dari benchmark populer. Ketika OpenAI mengevaluasi GPT-3, mereka menemukan bahwa skor model pada beberapa benchmark menurun ketika mereka mengeluarkan data pelatihan yang paling mirip dengan pertanyaan test, menunjukkan bahwa model telah melihat varian dari masalah-masalah ini sebelumnya. Hal ini berarti skor tidak sepenuhnya mencerminkan kemampuan generalisasi melainkan kemampuan model untuk mengingat pola dari data pelatihan.

Gaming dan Over-Optimization

Setelah benchmark menjadi ukuran standar, perusahaan mengoptimalkan model mereka secara khusus untuk mereka. Teknik fine-tuning dengan beberapa contoh jawaban yang benar pada benchmark dapat meningkatkan skor secara dramatis tanpa meningkatkan kemampuan sebenarnya. Model dapat belajar untuk mengenali pola spesifik dalam format pertanyaan benchmark tanpa benar-benar menguasai konsep yang mendasar. Prompt engineering juga memainkan peran: cara Anda membingkai pertanyaan dapat mengubah jawaban model secara substansial, tetapi prompt yang dioptimalkan untuk benchmark mungkin tidak mencerminkan cara pengguna nyata berinteraksi dengan model.

Misalignment dengan Kebutuhan Nyata

Benchmark sering mengukur tugas yang mudah diskorkan, bukan tugas yang paling berharga. Kemampuan untuk menjawab pertanyaan pilihan ganda tentang sejarah bukan masalah yang paling penting bagi sebagian besar pengguna, tetapi itu mudah diukur dan dibandingkan. Keterampilan yang penting dalam praktik tetapi sulit diukur—seperti memberikan saran yang aman dan etis, mengenali ketika model tidak tahu sesuatu, atau menyesuaikan output untuk konteks spesifik—tidak tertangkap oleh benchmark standar. Model dengan skor MMLU tinggi mungkin masih rentan terhadap prompt injection atau menghasilkan konten berbahaya di bawah kondisi tertentu.

Kesenjangan antara Skor Benchmark dan Kinerja Nyata

Ketika pengguna menerapkan model dalam produksi, mereka sering menemukan bahwa peringkat benchmark tidak memprediksi kinerja mereka dengan baik. Model yang mengungguli pesaing pada MMLU sebesar satu poin persentase mungkin menghasilkan kesalahan dalam tugas-tugas bisnis spesifik yang lebih sering daripada alternatif. Studi internal di perusahaan teknologi besar menunjukkan bahwa user satisfaction pada tugas nyata tidak selalu berkorelasi dengan peningkatan skor benchmark. Dalam beberapa kasus, model yang lebih kecil dengan skor MMLU lebih rendah dapat mengungguli model besar pada tugas khusus domain karena mereka telah dioptimalkan melalui fine-tuning terhadap data yang relevan.

Sebagai contoh, dalam pengembangan asisten coding, kecepatan respons dan penanganan konteks lokal kode pengguna mungkin lebih penting daripada skor HumanEval absolut, tetapi hanya skor HumanEval yang dipublikasikan. Dalam chatbot customer service, keakuratan jawaban tetap penting, tetapi kemampuan untuk mengakui ketidakpastian dan menghindari hallucination lebih penting lagi, dan tidak ada benchmark standar untuk hal-hal tersebut.

Melampaui Benchmark Tradisional

Peneliti mulai mengembangkan alternatif. LiveBench diperbarui setiap bulan dengan pertanyaan baru untuk mengurangi risiko kontaminasi data. GPQA (Graduate-Level Google-Proof Questions) berisi pertanyaan fisika, kimia, dan biologi tingkat sarjana yang jawabannya tidak mudah ditemukan dengan pencarian Google, menguji reasoning mendalam daripada pengambilan informasi. Beberapa evaluasi sekarang menggunakan model untuk menilai output model lain, menciptakan feed-forward yang lebih reflektif dari preferensi manusia yang sebenarnya, meskipun ini menggantikan masalah scalability dengan masalah validitas—model yang menilai output mungkin memiliki bias mereka sendiri.

Cara Membaca Klaim Benchmark dengan Kritis

Ketika sebuah perusahaan merilis model baru dengan benchmark baru, pertanyaan utama adalah: benchmark mana yang dipilih untuk diceritakan? Jika mereka melaporkan MMLU tetapi tidak HumanEval, itu mungkin mengindikasikan mereka melakukan lebih baik pada salah satunya. Periksa apakah benchmark telah dibaharui atau apakah skor dilaporkan pada versi lama. Cari informasi tentang hyperparameter: model mana yang digunakan untuk scoring, temperature apa, berapa shot (jumlah contoh yang diberikan). Dua model yang dijalankan dengan temperature berbeda dapat menghasilkan skor yang berbeda secara signifikan.

Pertanyaan paling penting: apakah hasil benchmark ini selaras dengan pengalaman pengguna nyata dengan model? Jika model dilaporkan lebih baik pada MMLU tetapi pengguna penguji mengatakan bahwa model lama menangani kasus tepi mereka lebih baik, tersebut benchmark mungkin mengukur hal yang salah. Evaluasi terbaik melibatkan menjalankan model pada contoh pekerjaan Anda sendiri dan mengukur apakah hasilnya meningkat. Skor industri adalah signposting berguna, tetapi hanya sebagai titik awal, bukan keputusan akhir.