Seperti yang kita tahu, kebanyakan AI chatbot yang beredar sekarang memerlukan cloud computing. Selain karena menggunakan data yang sangat besar, chatbot ini pun banyak menggunakan kemampuan proses GPU yang tinggi. Maka sering kita mendengar perusahaan besar seperti Tesla, Twitter, dan raksasa besar di Silicon Valley membeli GPU dari NVIDIA.
Diluar dari ChatGPT dan kawan-kawannya, ada juga beberapa AI chatbot dan machine learning yang memang bisa berjalan seluruhnya secara lokal. Hanya saja membutuhkan GPU yang mumpuni serta VRAM yang sangat tinggi. ChatGPT pun sebenarnya bisa berjalan di Raspberry Pi, yang secara teorinya bukan sepenuhnya lokal karena ia tetap mengirim prompt yang dihasilkan ke server untuk diproses.
AI Chatbot Bisa Berjalan Sepenuhnya Secara Lokal Tanpa Cloud, Termasuk di iPhone
Tapi, bagaimana jika ada sebuah Large Language Model yang ringan dan bisa dijalankan sepenuhnya secara lokal pada internal storage perangkat? Ternyata ada dan proyek tersebut merupakan software open source yang bisa kalian coba dengan gratis.
Diberi nama MLC LLM (Machine Learning Compilation), sebuah software Large Language Model yang mengambil basis dari LLaMA milik Meta yaitu Vicuna-7B-V1.1. LLM ini sudah dilatih sejak Maret hingga April tahun ini. Meskipun bisa berjalan secara lokal dan tanpa cloud, tetap saja fitur dan kemampuan yang ditawari tidak bisa sekomplit dan secanggih GPT 3.5.
AI MLC LLM Tersedia untuk Hampir Semua Platform
Proyek ini tersedia untuk Linux, Windows, macOS, dan iOS, sedangkan untuk versi Android belum tersedia untuk saat ini. Developernya juga menyertakan instruksi simpel di situs mereka beserta source code di GitHub.
Untuk sekarang, LLM ini bisa berjalan dengan mulus pada perangkat iOS iPhone yang menggunakan RAM 6GB, sedangkan untuk dibawah itu masih belum bisa berjalan optimal. Sedangkan untuk penggunaan pada PC Windows, softwarenya bisa berjalan dengan mulus bahkan pada perangkat Intel generasi ke-6 sekalipun.
Karena masih baru, MLC LLM masih belum bisa memberikan jawaban yang akurat. Informasi yang diberikan masih sangat kabur. Kedepannya seiring dengan perkembangan, AI ini akan semakin canggih dan bisa menjawab pertanyaan secara akurat.
Baca juga informasi menarik Gamebrott lainnya terkait Tech atau artikel lainnya dari Andi. For further information and other inquiries, you can contact us via author@gamebrott.com.