Sudah dari sekian banyaknya generative AI yang hadir. Beberapa diantaranya seperti ChatGPT lebih terkenal dibanding yang lain. Sisanya juga mungkin baru pertama kali didengar. Namun, menilai dari kepopuleran semata bukan tolok ukur yang baik untuk sebuah kecerdasan buatan.
Perlu namanya penilaian dari seberapa akurat mereka bisa menyediakan konten dan tidak melenceng dari permintaan. Untuk itulah, ada yang mencoba mencari tahu, AI mana sih yang paling tidak halu dalam memberikan jawaban.
Ada Tier List AI dari Paling Akurat Sampai Paling Halu, Siapa yang Menang?
Vectara lewat laman GitHub mereka perlihatkan tier list AI atau Artificial Intelligence apa saja yang paling tidak halusinasi dalam memberikan informasi. Seperti yang kita ketahui, LLM atau large language model memang punya kecenderungan berhalusinasi.
Terlebih jika informasi yang ingin ditampilkan itu tidak terdapat dalam database mereka dan program tersebut pun menutup celah informasi ini dengan informasi “ngawur” atau tidak sesuai fakta.
Dengan banyak pihak yang bergantung pada kecerdasan buatan di bidang krusial seperti kesehatan, pertahanan, industri dan sebagainya, adalah penting bagi sebuah kecerdasan buatan untuk tetap akurat dan tidak bertindak ‘halu.’
Metode yang dilakukan Vectara adalah meminta para AI meringkas sebuah tulisan berjumlah 800 kata. Perintah yang diberikan kepada program berikut adalah mereka hanya boleh menjawab berdasarkan data di dokumen tersebut. Lalu siapa yang paling tidak halu diantara yang lain?
GPT4 Masih Paling Jago, Palm-Chat Paling Halu
Berdasarkan tier list disana, yang paling akurat adalah GPT4 di 97% yang berarti cuma punya tingkat halusinasi 3% saja. Di bawahnya disusul oleh GPT3.5 di 96,5% dan tingkat halu 3,5%. Posisi 3 dipegang oleh Llama 2 70B dengan akurasi 94,9% dan tingkat halu 5,1%.
Sedangkan paling rendah akurasinya dan tertinggi tingkat halu dipegang oleh Google Palm-Chat. Dimana tingkat keakuratan cuma 72,8% dan tingkat halu tertinggi di 27,2%. Tier list ini juga akan terus di-update mengingat perkembangan AI masih terus berjalan dan diperbaiki kedepannya.
Bagaimana menurut kalian brott? Apakah kalian pernah menggunakan AI dan jawaban yang diberikan kadang tidak akurat?
Dapatkan informasi keren di Gamebrott terkait Tech atau artikel sejenis yang tidak kalah seru dari Andi. For further information and other inquiries, you can contact us via author@gamebrott.com.