Alat gratis seperti Ollama dan LM Studio memungkinkan Anda menjalankan chatbot AI di komputer Anda sendiri—tanpa biaya bulanan, tanpa berbagi data.
Tahukah Anda bahwa Anda dapat menjalankan chatbot AI yang kuat di komputer Anda sendiri—gratis dan sepenuhnya pribadi? Inilah yang perlu diketahui pemula.
Dasar-dasar: Sebagian besar alat AI populer (seperti ChatGPT) mengirimkan semua yang Anda ketik ke server perusahaan, dan biasanya biaya sekitar 20 dolar per bulan. Namun ada opsi lain yang disebut model "berat terbuka"—program AI di mana perusahaan menerbitkan semua file yang dipelajari AI, sehingga siapa pun dapat mengunduh dan menjalankannya secara gratis.
Dua program gratis membuat ini mungkin:
- LM Studio – ramah pemula, dengan desain klik dan tunjuk yang sederhana yang dapat bekerja sepenuhnya offline.
- Ollama – ditujukan untuk pengguna yang lebih teknis yang lebih suka mengetik perintah.
Mengapa Anda ingin melakukan ini?
- Privasi: Percakapan Anda tetap ada di komputer Anda. (Pengadilan baru-baru ini memerintahkan satu perusahaan AI untuk menyimpan log obrolan pengguna—bahkan yang sudah dihapus.)
- Biaya: Tidak ada langganan bulanan.
- Kustomisasi: Anda dapat menyesuaikan AI untuk fokus pada tugas tertentu, seperti kedokteran.
Perangkat keras apa yang Anda butuhkan? Model AI diukur dalam
parameter (angka internal yang dipelajari AI selama pelatihan—lebih banyak parameter biasanya berarti model yang lebih cerdas tetapi lebih besar). Untuk menjalankannya, model harus sesuai dengan
VRAM komputer Anda (memori pada kartu grafis Anda) atau
memori terpadu Mac (memori bersama yang digunakan oleh seluruh sistem).
Angka kunci yang perlu diketahui:
- 8GB VRAM – minimum untuk model kecil.
- 16GB+ RAM – direkomendasikan untuk LM Studio.
- 24GB VRAM atau lebih – ideal untuk pengguna serius.
- Unduhan AI kecil berkisar dari sekitar 4.6GB hingga 20GB.
Kekurangannya: Model terbuka gratis masih sedikit tertinggal dari yang berbayar terbaik. Menurut perusahaan riset Epoch AI, mereka tertinggal dari model "tertutup" (pribadi, berbayar) teratas sekitar
empat bulan rata-rata. Model terbuka terbesar terlalu besar untuk komputer rumah biasa.
Intinya: Bagi siapa pun yang menginginkan asisten AI gratis dan pribadi dan sudah memiliki komputer yang layak, menjalankan model lokal lebih mudah dari yang terlihat—dan alternatif nyata untuk langganan berbayar.
Ini adalah ringkasan yang dihasilkan AI. Baca artikel asli di: https://decrypt.co/382295/how-to-run-ai-model-locally-why-you-might-want