Kendi Bilgisayarınızda AI Çalıştırın: ChatGPT'ye Ücretsiz, Özel Bir Alternatif

Güçlü bir AI sohbet botunu kendi bilgisayarınızda—ücretsiz ve tamamen özel olarak çalıştırabileceğinizi biliyor muydunuz? İşte yeni başlayanların bilmesi gerekenler.

Temel bilgiler: Çoğu popüler AI aracı (ChatGPT gibi) yazdığınız her şeyi bir şirketin sunucularına gönderir ve genellikle aylık 20 $ civarında bir maliyeti vardır. Ancak, "open-weight" modeller adı verilen başka bir seçenek var—şirketin AI'nın öğrendiği tüm dosyaları yayınladığı, böylece herkesin indirip ücretsiz olarak çalıştırabileceği AI programları.

Bu iki ücretsiz program bunu mümkün kılar:

• LM Studio – yeni başlayanlar için uygun, tamamen çevrimdışı çalışabilen basit bir tıklama tasarımına sahip.
• Ollama – komut yazmayı tercih eden daha teknik kullanıcılar için.

Neden bunu yapmak isteyebilirsiniz?

• Gizlilik: Konuşmalarınız bilgisayarınızda kalır. (Bir mahkeme yakın zamanda bir AI şirketine kullanıcı sohbet kayıtlarını—silinmiş olanlar da dahil—koruma emri verdi.)
• Maliyet: Aylık abonelik yok.
• Özelleştirme: AI'yı tıp gibi belirli görevlere odaklanacak şekilde ayarlayabilirsiniz.

Hangi donanıma ihtiyacınız var? AI modelleri parametrelerle ölçülür (bir AI'nın eğitim sırasında öğrendiği iç sayılar—daha fazla parametre genellikle daha akıllı ama daha büyük bir model anlamına gelir). Onları çalıştırmak için modelin bilgisayarınızın VRAM'ine (grafik kartınızın belleği) veya bir Mac'in birleşik belleğine (tüm sistem tarafından kullanılan paylaşılan bellek) sığması gerekir.

Bilmeniz gereken önemli sayılar:

• 8GB VRAM – küçük modeller için minimum.
• 16GB+ RAM – LM Studio için önerilir.
• 24GB VRAM veya daha fazlası – ciddi kullanıcılar için ideal.
• Küçük AI indirmeleri yaklaşık 4.6GB ile 20GB arasında değişir.

Dezavantajı: Ücretsiz açık modeller hala en iyi ücretli modellerin biraz gerisindedir. Araştırma firması Epoch AI'ya göre, en iyi "kapalı" (özel, ücretli) modellere kıyasla ortalama dört ay gerideler. En büyük açık modeller sıradan ev bilgisayarları için çok büyüktür.

Sonuç: Ücretsiz, özel bir AI asistanı isteyen ve zaten iyi bir bilgisayara sahip olan herkes için yerel bir model çalıştırmak, göründüğünden daha kolaydır—ve ücretli aboneliklere gerçek bir alternatiftir.

Bu bir AI tarafından oluşturulmuş özet. Orijinal makaleyi şurada okuyun: https://decrypt.co/382295/how-to-run-ai-model-locally-why-you-might-want