Führen Sie KI auf Ihrem eigenen Computer aus: Eine kostenlose, private Alternative zu ChatGPT

Wussten Sie, dass Sie einen leistungsstarken KI-Chatbot auf Ihrem eigenen Computer ausführen können—kostenlos und völlig privat? Hier ist, was Anfänger wissen müssen.

Die Grundlagen: Die meisten beliebten KI-Tools (wie ChatGPT) senden alles, was Sie eingeben, an die Server eines Unternehmens und kosten normalerweise etwa 20 $ pro Monat. Aber es gibt eine andere Option namens "open-weight" Modelle—KI-Programme, bei denen das Unternehmen alle Dateien veröffentlicht, aus denen die KI gelernt hat, sodass jeder sie herunterladen und kostenlos ausführen kann.

Zwei kostenlose Programme machen dies möglich:

• LM Studio – benutzerfreundlich, mit einem einfachen Point-and-Click-Design, das vollständig offline arbeiten kann.
• Ollama – richtet sich an technisch versiertere Benutzer, die lieber Befehle eingeben.

Warum sollten Sie das tun wollen?

• Privatsphäre: Ihre Gespräche bleiben auf Ihrem Computer. (Ein Gericht hat kürzlich ein KI-Unternehmen angewiesen, die Chat-Protokolle der Benutzer zu speichern—auch die gelöschten.)
• Kosten: Kein monatliches Abonnement.
• Anpassung: Sie können die KI anpassen, um sich auf bestimmte Aufgaben zu konzentrieren, wie z.B. Medizin.

Welche Hardware benötigen Sie? KI-Modelle werden in Parametern gemessen (die internen Zahlen, die eine KI während des Trainings lernt—mehr Parameter bedeuten normalerweise ein intelligenteres, aber größeres Modell). Um sie auszuführen, muss das Modell in die VRAM Ihres Computers passen (den Speicher Ihrer Grafikkarte) oder den einheitlichen Speicher eines Macs (gemeinsamer Speicher, der vom gesamten System verwendet wird).

Wichtige Zahlen, die Sie kennen sollten:

• 8 GB VRAM – das Minimum für kleine Modelle.
• 16 GB+ RAM – empfohlen für LM Studio.
• 24 GB VRAM oder mehr – ideal für ernsthafte Benutzer.
• Kleine KI-Downloads reichen von etwa 4,6 GB bis 20 GB.

Der Haken: Kostenlose offene Modelle sind immer noch leicht hinter den besten kostenpflichtigen Modellen zurück. Laut dem Forschungsunternehmen Epoch AI liegen sie im Durchschnitt etwa vier Monate hinter den besten "geschlossenen" (privaten, kostenpflichtigen) Modellen zurück. Die größten offenen Modelle sind zu groß für gewöhnliche Heimcomputer.

Fazit: Für jeden, der einen kostenlosen, privaten KI-Assistenten möchte und bereits einen anständigen Computer besitzt, ist das Ausführen eines lokalen Modells einfacher als es klingt—und eine echte Alternative zu kostenpflichtigen Abonnements.

Dies ist eine von KI generierte Zusammenfassung. Lesen Sie den Originalartikel unter: https://decrypt.co/382295/how-to-run-ai-model-locally-why-you-might-want