Mengukur kecerdasan sebuah AI tentunya butuh alat ukur yang kredibel. Tapi, bisa saja hal tersebut adalah game keluaran Nintendo beberapa puluh tahun lalu. Seperti yang dilakukan oleh peneliti dengan Super Mario Bros.
Peneliti Gunakan Super Mario Bros untuk Benchmark AI
Hao AI Lab, sebuah organisasi penelitian di University of California, San Diego melakukan pengetesan (via TechCrunch) terhadap kepintaran beberapa AI model yang tersedia saat ini. Hanya saja, alat ukur yang mereka gunakan sebagai acuan adalah game Super Mario Bros milik Nintendo.
Dari pengetesan tersebut, disimpulkan kalau Claude 3,7 dari Anthropic mencapai posisi terbaik. Setelah itu barulah disusul oleh Claude 3.5. Sedangkan untuk Google Gemini 1.5 Pro dan ChatGPT 4o dari OpenAI terlihat kesulitan menyelesaikan game tersebut.
Namun perlu diperhatikan kalau game yang digunakan tidak berjalan di konsol aslinya melainkan berjalan secara emulasi dengan terintegrasi ke GamingAgent, sebuah software yang dikembangkan oleh peneliti di Hao AI.
AI Diberikan Input Dasar Game
Seluruh model AI yang di uji diminta untuk bergerak, melompat, atau menghindar begitu ada hambatan atau musuh mendekat. Program GamingAgent ini memberikan akses instruksi simpel seperti ini dan input lalu dibentuk dalam kode Python untuk menggerakkan Mario.
Menariknya, AI yang lebih logis seperti ChatGPT 4o malah lebih kesulitan menyelesaikan game ketimbang AI yang tidak berpikir kritis. Hal ini disebutkan karena AI tersebut harus “berpikir” sejenak sebelum memberikan jawaban dalam bentuk input. Menyebabkan game tidak bisa dimainkan oleh AI tersebut. Gimana menurut kamu?
Dapatkan informasi keren di Gamebrott terkait Tech atau artikel sejenis yang tidak kalah seru dari Andi. For further information and other inquiries, you can contact us via author@gamebrott.com.
