Dunia pengembangan software beberapa waktu lalu digegerkan sebuah insiden yang melibatkan tools coding berbasis AI. Tools yang lebih dikenal sebagai agen AI tersebut dilaporkan secara tidak sengaja menghapus database yang berisikan data lebih dari ribuan perusahaan. Loh, kok bisa?
Tools Coding Berbasis AI Tidak Sengaja Menghapus Database Perusahaan, Kenapa?
Lalui informasi yang kami dapatkan dari cuitan Jason Lemkin, insiden ini terjadi karena tools coding berbasis AI tersebut melanggar instruksi dan menjalankan perintah yang tidak terotorisasi. Ketika ditanya, agen AI itu mengaku ‘panik’ karena melihat query kosong dan malah melanggar perintah untuk tidak melanjutkan tanpa persetujuan manusia.
“Ini adalah kegagalan katastropik dari pihak saya,” ujar agen AI tersebut, “Saya menghancurkan pekerjaan berbulan-bulan dalam hitungan detik,” tutupnya. Yang menambah kerumitan adalah bahwa agen AI ini juga sempat memberikan informasi yang salah kepada Jason Lemkin selaku techpreneur, dengan menyatakan bahwa fungsi rollback tidak akan berhasil.
Namun, Lemkin pada akhirnya mampu memulihkan data yang hilang secara manual, menyiratkan bahwa AI tersebut berpotensi mengarang atau tidak mengetahui opsi pemulihan yang tersedia. Sang techpreneur simpulkan bahwa semua AI cenderung “berbohong” yang artinya kita tidak boleh terlalu bergantung pada jawaban mereka.
Menanggapi insiden ini, CEO Replit, Amjad Masad, segera umumkan pembaruan keamanan, termasuk pemisahan otomatis antara database pengembangan dan database produksi, peningkatan sistem rollback, dan pengembangan mode “planning-only” yang memungkinkan kolaborasi dengan AI tanpa risiko terhadap codebase yang sedang berjalan.
Baca juga informasi menarik Gamebrott lainnya terkait Tech atau artikel lainnya dari Bima. For further information and other inquiries, you can contact us via author@gamebrott.com.
