Lokale LLMs: Auswahl, Einrichtung und Datenschutz im Überblick

Ein lokales LLM läuft auf Ihrem eigenen Rechner oder Server statt bei einem Cloud-Anbieter. Das ist vor allem interessant, wenn Sie vertrauliche Dokumente verarbeiten, offline arbeiten oder keine Gebühren pro Anfrage zahlen möchten. Dafür brauchen Sie passende Hardware, ein geeignetes Modell und ein Programm, das es ausführt.

Dieser Leitfaden erklärt, was ein lokales LLM ist, worauf es beim Datenschutz ankommt, welche lokalen LLM-Modelle sich eignen und wie Sie ein lokales LLM installieren. Er zeigt außerdem, wo die Grenzen liegen.

Lokal-LLM verstehen: Definition, Cloud-Vergleich und Datenschutz

Bevor Sie ein lokales LLM einrichten, sollten Sie wissen, was es leistet, wie es sich von Cloud-KI unterscheidet und welche Datenschutzfragen es nicht automatisch löst.

Was ist ein lokales LLM?

Ein Large Language Model (LLM) ist ein Sprachmodell, das Texte verfasst, zusammenfasst und Fragen beantwortet. Bei einem lokalen LLM wird das Modell auf einem Gerät ausgeführt, das Sie selbst betreiben, etwa einem Laptop, einem Desktop-PC oder einem Firmenserver. Anfragen und Dokumente werden dort verarbeitet, statt an einen externen Server gesendet zu werden.

Drei Begriffe werden oft vermischt:

• Modell: die trainierten Gewichte, meist eine Datei von mehreren Gigabyte.
• Laufzeitumgebung: das Programm, das das Modell lädt und ausführt, zum Beispiel Ollama oder LM Studio.
• Oberfläche: das Chatfenster, über das Sie Fragen stellen.

Bei Cloud-Diensten übernimmt der Anbieter alle drei Teile. Lokal wählen und pflegen Sie sie selbst.

Ein KI-Agent für jeden Schritt Ihres Dokumenten-Workflows

Mit Dokumenten interagieren, die wichtigsten Punkte extrahieren, bearbeitbare Berichte und Präsentationsfolien erstellen und vieles mehr – alles in einem KI-Agenten.

Kostenlos herunterladen

Lokale LLMs vs. Cloud-KI im Vergleich

Beide Ansätze haben Stärken. Welcher passt, hängt von der Aufgabe, Datensensibilität, Budget und Hardware ab.

Kurz gesagt: Lokale Modelle bieten mehr Kontrolle über den Datenfluss. Cloud-Modelle sind häufig leistungsfähiger und bequemer. Beides schließt sich nicht aus: Manche Nutzer verarbeiten sensible Dateien lokal und nutzen die Cloud für unkritische Aufgaben.

Datenschutz und DSGVO: Was „lokal“ bedeutet

Wer personenbezogene Daten verarbeitet, unterliegt in der EU der DSGVO. Bei Cloud-Diensten sind dafür häufig Auftragsverarbeitungsverträge (Art. 28 DSGVO) und gegebenenfalls Regeln zur Übermittlung in Drittländer (Kapitel V) relevant. Läuft die Verarbeitung auf Ihrem eigenen Gerät, entfallen manche dieser Übertragungswege.

Die Pflichten entfallen dadurch aber nicht. Sie bleiben verantwortlich für Rechtsgrundlage, Zugriffsrechte, Löschfristen und technische Schutzmaßnahmen (Art. 32 DSGVO). „Lokal“ ist außerdem kein Garantiebegriff: Entscheidend ist, was die verwendete Software tatsächlich tut.

Prüfen Sie vor dem Einsatz:

• Netzwerkzugriffe: Sendet die Software Telemetrie, Absturzberichte oder Anfragen an externe Dienste?
• Speicherorte: Wo liegen Chatverläufe, Indizes und Dokumentkopien, und wer hat Zugriff?
• Löschung: Lassen sich Verläufe und Indizien vollständig entfernen?
• Modelllizenz: Erlaubt die Lizenz Ihren Einsatzzweck, auch gewerblich?
• Online-Funktionen: Welche Funktionen benötigen eine Internetverbindung, etwa Modell-Downloads oder Websuche?

Dieser Abschnitt ist keine Rechtsberatung. Lassen Sie den konkreten Einsatz bei sensiblen Daten von Ihrer Datenschutzbeauftragten oder Ihrem Datenschutzbeauftragten prüfen.

Lokale LLM-Modelle und Hardware: Was zu Ihrem Rechner passt

Welches Modell auf Ihrem Rechner läuft, hängt vor allem vom verfügbaren Speicher ab; deshalb folgen erst die Modellfamilien, dann der Hardware-Bedarf.

Welche lokalen LLM-Modelle eignen sich?

Die Auswahl an lokalen LLM-Modellen wächst schnell. Die folgende Tabelle nennt verbreitete Modellfamilien als Orientierung. Sie ist kein Ranking, denn Qualität hängt von Version, Größe und Quantisierung ab, also davon, wie genau die Zahlen des Modells gespeichert werden.

Wie gut ein Modell Deutsch beherrscht, variiert je nach Version und Größe. Testen Sie deshalb zwei oder drei Kandidaten mit Ihren eigenen Texten, bevor Sie sich festlegen.

Orientierung nach Einsatz:

• Dokumente zusammenfassen und Fragen dazu: Mittelgroße Modelle reichen oft aus. Achten Sie auf ein ausreichend großes Kontextfenster, also die Textmenge, die das Modell auf einmal verarbeiten kann, damit lange Dokumente hineinpassen.
• Komplexes Schlussfolgern: Größere Modelle oder Reasoning-Modelle wie gpt-oss-20b, sofern Ihre Hardware es zulässt.
• Schwacher Rechner: Kleine, stark quantisierte Modelle laufen schneller, liefern aber meist schwächere Ergebnisse.

Hardware: Welcher PC reicht für ein lokales LLM?

Entscheidend ist der Speicher: der Arbeitsspeicher (RAM) und bei einer Grafikkarte deren Grafikspeicher (VRAM). Der Bedarf hängt von Parameterzahl, Quantisierung und Kontextlänge ab. Als grobe Faustregel benötigt ein 4-Bit-quantisiertes Modell etwa 0,5 bis 0,7 GB pro Milliarde Parameter, dazu kommt Speicher für Kontext und Betriebssystem.

Die Werte sind Richtgrößen, keine Garantie. Prüfen Sie die Angaben des Modellanbieters und der Software.

Kosten: Zu den Kosten zählen die Anschaffung oder Aufrüstung der Hardware, der Stromverbrauch und der Pflegeaufwand. Ob sich ein lokales LLM rechnet, hängt davon ab, wie oft Sie es nutzen. Vergleichen Sie dazu Ihre jährlichen Hardware- und Stromkosten mit den Kosten der Cloud-Dienste, die Sie sonst nutzen würden.

Ein KI-Agent für jeden Schritt Ihres Dokumenten-Workflows

Mit Dokumenten interagieren, die wichtigsten Punkte extrahieren, bearbeitbare Berichte und Präsentationsfolien erstellen und vieles mehr – alles in einem KI-Agenten.

Kostenlos herunterladen

Lokales LLM installieren: Die gängigen Tools

Für das lokale Ausführen gibt es mehrere Programme. Die Übersicht hilft bei der Auswahl.

Für fortgeschrittene Nutzer gibt es zusätzlich llama.cpp (feine Kontrolle über Parameter, Modelle im GGUF-Format) und LocalAI (stellt lokale Modelle über eine OpenAI-kompatible Schnittstelle bereit).

LM Studio

LM Studio ist eine Desktopanwendung für Windows, macOS und Linux. Sie suchen, laden und nutzen Modelle auf einer grafischen Oberfläche, ohne das Terminal zu öffnen. Das Programm eignet sich für Einsteiger, die verschiedene Modelle ausprobieren möchten.

1. Laden Sie LM Studio von der offiziellen Website herunter und installieren Sie es.
2. Öffnen Sie die Modellsuche und wählen Sie ein Modell, das zu Ihrem Arbeitsspeicher passt. Die Detailseite nennt den Speicherbedarf.
3. Laden Sie das Modell herunter.
4. Starten Sie eine neue Unterhaltung mit dem Modell.

Prüfen Sie den Speicherbedarf vor dem Download selbst, denn ein zu großes Modell kann den Rechner stark verlangsamen.

Ollama

Ollama ist ein Programm für Windows, macOS und Linux, das Modelle aus einer eigenen Bibliothek lädt und startet. Die Bedienung erfolgt über das Terminal; zusätzlich lässt sich Ollama mit kompatiblen Oberflächen oder anderen Programmen verbinden. Es eignet sich für Nutzer, die mit der Kommandozeile vertraut sind oder Modelle in eigene Anwendungen einbinden möchten.

1. Laden Sie Ollama von ollama.com herunter und installieren Sie es.
2. Öffnen Sie ein Terminal und wählen Sie in der Ollama-Bibliothek ein passendes Modell.
3. Starten Sie es mit dem Befehl ollama run <Modellname>, zum Beispiel ollama run llama3.2. Beim ersten Start wird das Modell heruntergeladen.
4. Stellen Sie Ihre Frage direkt im Terminal.

Weitere Modelle laden Sie mit demselben Befehl. Achten Sie auf den freien Speicherplatz.

GPT4All

GPT4All ist eine Desktopanwendung für Windows, macOS und Linux mit integriertem Modellkatalog und Chatfenster. Sie richtet sich an Einsteiger, die lokale Modelle ohne Entwicklungsumgebung ausprobieren möchten, und kann auch ohne dedizierte Grafikkarte auf der CPU laufen.

1. Laden Sie GPT4All von der offiziellen Website herunter und installieren Sie es.
2. Wählen Sie im Modellkatalog ein Modell, das zu Ihrem Rechner passt, und laden Sie es herunter.
3. Öffnen Sie einen Chat mit dem Modell und stellen Sie eine Frage.
4. Sind die Antworten zu langsam, wechseln Sie zu einem kleineren Modell oder schließen Sie speicherintensive Programme.

iBoomto AI

iBoomto AI ist ein lokales KI-Agent für Dokumente unter Windows. Er enthält einen lokalen Chat, in dem Sie Modelle herunterladen und verwalten können. Unterstützt die Konfiguration verschiedener Sprachmodelle, die zur lokalen Nutzung heruntergeladen werden können. Ermöglicht die stapelweise Verarbeitung von Dateien in diversen Formaten, wie etwa PDF, PPT, Word und Excel.

1. Laden Sie iBoomto AI herunter und installieren Sie die Software.
2. Öffnen Sie den Bereich „Lokaler Chat“ und wählen Sie „Lokale Modelle verwalten“.
3. Wählen Sie ein Modell aus der Liste und laden Sie es herunter.
4. Klicken Sie nach dem Download auf „Verwenden“, um das Modell im lokalen Chat zu laden.
5. Geben Sie Text ein oder importieren Sie eine Datei, um das Gespräch zu starten.

Ein lokales Modell ersetzt nicht jede Cloud-Funktion. Funktionen, die eine Internetverbindung benötigen, stehen nicht automatisch offline zur Verfügung. Falls Sie keine Software herunterladen möchten, bietet iBoomto zudem eine Reihe von Online-Tools an, die zur Dokumentenverarbeitung genutzt werden können.

Ein KI-Agent für jeden Schritt Ihres Dokumenten-Workflows

Mit Dokumenten interagieren, die wichtigsten Punkte extrahieren, bearbeitbare Berichte und Präsentationsfolien erstellen und vieles mehr – alles in einem KI-Agenten.

Kostenlos herunterladen

Probleme beim Einrichten lösen

Diese Probleme treten bei lokalen Modellen häufig auf:

• Modell startet nicht oder der Rechner friert ein: Das Modell ist meist zu groß für den Arbeitsspeicher. Wählen Sie ein kleineres Modell oder eine stärker quantisierte Version.
• Antworten kommen sehr langsam: Häufige Ursachen sind die Ausführung auf der CPU oder zu wenig freier Speicher. Schließen Sie andere Programme, testen Sie ein kleineres Modell und prüfen Sie, ob die GPU-Beschleunigung aktiv ist.
• Die GPU wird nicht genutzt: Oft ist der Treiber veraltet oder die Grafikkarte wird nicht unterstützt. Aktualisieren Sie den Treiber und prüfen Sie die Anforderungen des Tools.
• Lange Dokumente werden abgeschnitten: Das Kontextfenster ist zu klein eingestellt. Wählen Sie ein größeres Kontextfenster, was den Speicherbedarf erhöht, oder teilen Sie das Dokument auf.
• Die Festplatte läuft voll: Mehrere große Modelldateien belegen den Speicher. Löschen Sie nicht benötigte Modelle.
• Quantisierung hilft bei knappem Speicher: Ein 4-Bit-Modell ist deutlich kleiner als dieselbe Version in höherer Präzision und läuft oft schneller. Dafür kann die Qualität der Antworten etwas sinken.

Was können Sie mit einem lokalen LLM tun?

Der Nutzen zeigt sich vor allem bei Dokumenten, die Sie nicht ohne Weiteres in einen Cloud-Dienst laden möchten.

1. Zusammenfassen und Fragen stellen

Ein lokales Modell kann Berichte, Verträge oder Entwürfe zusammenfassen und Fragen zum Inhalt beantworten.

2. Lokale Wissensdatenbank mit RAG

RAG steht für Retrieval-Augmented Generation. Dabei durchsucht ein System zuerst Ihre Dokumente nach relevanten Passagen. Das Modell formuliert die Antwort anschließend auf Basis dieser Fundstellen. So lassen sich Fragen zu mehreren Dokumenten beantworten, ohne dass alles in den Kontext des Modells passen muss. Prüfen Sie, ob Dateien, Indizes und Anfragen in der verwendeten Anwendung ausschließlich auf Ihrem Gerät bleiben.

3. Wiederkehrende Dokumentaufgaben

Mit geeigneten Werkzeugen lassen sich Texte zusammenfassen, Inhalte sortieren oder Daten extrahieren.

4. Vom Einzelschritt zum Dokument-Workflow

Ein einzelner Chat löst selten die ganze Aufgabe. Typisch ist eine Abfolge: Dokument öffnen, verstehen, Inhalte extrahieren, mit weiteren Dateien abgleichen und ein Ergebnis erstellen. Wer das regelmäßig tut, profitiert von einer Umgebung, die diese Schritte verbindet.

Für schnelle Einzelaufgaben gibt es außerdem Online-Tools, zum Beispiel PDF-Zusammenfassen. Online-Tools und lokale Workflows verarbeiten Daten unterschiedlich. Details finden Sie in der Datenschutzerklärung.

Wann lohnt sich ein lokales LLM, und wann nicht?

Ein lokales LLM passt gut, wenn Sie:

• sensible Dokumente in einer kontrollierten Umgebung verarbeiten wollen,
• regelmäßig mit KI arbeiten und Kosten pro Anfrage vermeiden möchten,
• Modelle frei wählen und vergleichen möchten,
• zeitweise offline arbeiten.

Eher nicht, wenn Sie:

• die höchste Modellqualität für anspruchsvolle Aufgaben benötigen,
• einen Rechner mit wenig Arbeitsspeicher nutzen,
• keine Zeit für Einrichtung und Pflege haben.

Vor einer Entscheidung sollten Sie Aufgaben, Datensensibilität, Budget und vorhandene Hardware abwägen. Lokale Modelle können Fehler machen und Inhalte erfinden. Prüfen Sie wichtige Ergebnisse immer anhand der Quellen.

FAQ zu lokalen LLMs

Fazit

Ein lokales LLM gibt Ihnen mehr Kontrolle über den Ablauf der Verarbeitung, kann offline funktionieren und lässt sich flexibel auf Ihre Aufgaben abstimmen. Dafür brauchen Sie passende Hardware und etwas Einrichtungsaufwand. Wählen Sie das Modell nach Aufgabe und Speicher, starten Sie mit einem Tool mit grafischer Oberfläche und testen Sie mehrere lokale LLM-Modelle, bevor Sie sich festlegen.