Geger! AI Jagoan Dunia Cuma Bisa Jawab 7,5% Soal Coding, Tapi Menang Hadiah Rp800 Juta! Kenapa Bisa Begitu?

JAKARTA, GENVOICE.ID - Sebuah tantangan AI internasional bertajuk K Prize baru saja menobatkan pemenang pertamanya, dan hasilnya langsung bikin heboh dunia teknologi. Bagaimana tidak, Juara pertamanya hanya berhasil menjawab 7,5% dari soal yang diberikan, namun tetap keluar sebagai pemenang utama dengan hadiah USD 50.000 (setara Rp800 juta)!

Pengumuman mengejutkan ini dilakukan oleh Laude Institute pada Rabu pukul 5 sore waktu Pasifik. Pemenang tersebut adalah Eduardo Rocha de Andrade, seorang prompt engineer asal Brasil. Meski jumlah soal yang dijawab dengan benar sangat kecil, nyatanya tidak ada peserta lain yang mampu mengalahkan performanya.

"Kami memang sengaja membuat benchmark yang benar-benar sulit," ujar Andy Konwinski, pendiri Databricks dan Perplexity sekaligus inisiator K Prize. "Kalau benchmark terlalu mudah, tidak ada gunanya. Tantangan seperti ini harus jadi barometer yang nyata untuk kemampuan AI saat ini," tambahnya.

K Prize merupakan kompetisi pemrograman AI berbasis masalah nyata yang diambil dari issue GitHub terbaru, mirip seperti benchmark terkenal SWE-Bench. Bedanya, SWE-Bench menggunakan kumpulan soal tetap yang bisa dipelajari sebelumnya, sedangkan K Prize dirancang agar bebas dari "kontaminasi",artinya, soal tidak bisa dilatih sebelumnya oleh model AI mana pun. Untuk memastikan itu, panitia hanya menggunakan isu GitHub yang muncul setelah tenggat pengumpulan model (12 Maret 2025).

Dengan sistem ini, K Prize menjadi ujian nyata bagi kemampuan murni model AI. Dan hasilnya hanya 7,5% soal berhasil diselesaikan oleh juara pertamanya,bukti betapa sulitnya tantangan ini.

Konwinski juga menyatakan bahwa dia menyiapkan hadiah USD 1 juta (sekitar Rp16 miliar) bagi model open-source pertama yang mampu menjawab lebih dari 90% soal dalam kompetisi ini. Namun, dengan hasil putaran pertama yang masih jauh dari itu, tampaknya jalan menuju "AI Software Engineer" sejati masih sangat panjang.

Sebagai perbandingan, benchmark SWE-Bench saat ini menunjukkan angka 75% pada versi "mudah" dan 34% untuk versi "penuh". Namun angka-angka itu diragukan karena kemungkinan telah "terkontaminasi" oleh data pelatihan sebelumnya - hal yang tidak mungkin terjadi di K Prize.

Banyak pihak menilai bahwa tantangan seperti K Prize adalah langkah penting dalam menyelesaikan masalah evaluasi kemampuan AI yang semakin membingungkan. Dengan semakin banyaknya AI coding tools yang tersedia, muncul keraguan akan keakuratan benchmark yang ada.

"Kalau kita dengar hype-nya, seolah-olah AI sudah bisa jadi dokter, pengacara, atau insinyur software. Tapi kenyataannya? Bahkan skor 10% saja belum bisa dicapai di benchmark yang benar-benar bersih seperti ini," kata Konwinski. "Ini adalah realita yang perlu kita terima."

Kompetisi ini bukan hanya soal siapa yang paling pintar, tapi juga tentang seberapa jujur dan murni kemampuan AI yang kita kembangkan. Dan untuk saat ini, jawaban yang muncul sungguh mengejutkan: AI belum sehebat yang kita kira.