Anmelden
Anmelden
Kein Schnickschnack. Nur kostenlose Neuigkeiten. (Demos, Credits, Updates und gelegentlich etwas, worauf wir besonders stolz sind)
Vielen Dank für Ihr Abonnement! Freuen Sie sich auf Demos, Credits und Updates.
Im Büroalltag können KI-Tools die Effizienz deutlich steigern. Datensicherheit bleibt jedoch für viele eine Herausforderung, insbesondere beim Umgang mit Verträgen, Kundendaten oder internen Berichten. Aktuell nutzen die meisten KI-Assistenten auf dem Markt cloudbasierte KI-Modelle, einige unterstützen auch die lokale Installation. Um die Datensicherheit weiter zu gewährleisten, ist eine lokal installierte KI die bessere Wahl.
Nach der Installation können Sie KI-Modelle direkt auf Ihrem Computer ausführen. Dieser Prozess findet lokal auf dem Gerät statt, wodurch die Datenübertragung an externe Server entfällt und die Datensicherheit effektiv sichergestellt wird. Diese Anleitung zeigt Ihnen, wie Sie lokale KI schnell und einfach installieren. Auch ohne spezielle technische Kenntnisse ist dies problemlos möglich. Mit kostenlosen Programmen wie iBoomto, LM Studio oder Ollama können Sie lokale KI in wenigen Schritten ausprobieren.
Wenn Sie eine KI auf Ihrem PC installieren möchten, sollten Sie zunächst prüfen, ob Ihre Hardware die Anforderungen des gewünschten KI-Modells erfüllt. Entscheidend sind vor allem der Arbeitsspeicher (RAM), der Grafikspeicher (VRAM) und der verfügbare Speicherplatz.
Grundsätzlich gilt: Je größer das Sprachmodell (LLM), desto mehr Ressourcen benötigt es. Kleine Modelle lassen sich häufig bereits auf einem Standard-PC ausführen, während größere Modelle eine leistungsfähigere Hardware voraussetzen. Die konkreten Anforderungen hängen außerdem von der Modellarchitektur und der gewählten Quantisierung ab.
Nachfolgend finden Sie die Hardwareanforderungen für 10 Modelle. Auch als Nicht-IT-Fachmann erhalten Sie so einen allgemeinen Überblick über die benötigte Ausrüstung für ein KI-Modell. Falls Sie bereits über die notwendige und vollständige Ausrüstung verfügen, können Sie direkt mit der Installationsanleitung fortfahren⬇.
| KI-Modell | Parameter | Modellgröße (ca.) | Empfohlener RAM | Empfohlener GPU-Speicher (VRAM) |
| Meta Llama 3.2 3B | 3B | 2–3 GB | 8–16 GB | 4–6 GB |
| Alibaba Qwen3 8B | 8B | 5–6 GB | 16 GB | 8 GB |
| Google Gemma 3 12B | 12B | 8–9 GB | 16–24 GB | 12 GB |
| Microsoft Phi-4 | 14B | 10–11 GB | 24–32 GB | 12–16 GB |
| OpenAI gpt-oss-20b | 21B | 12–13 GB | 32 GB | 16 GB |
| Mistral Small 3.2 | 24B | 14–16 GB | 32–48 GB | 20–24 GB |
| Google Gemma 3 27B | 27B | 17–18 GB | 48 GB | 24 GB |
| Alibaba Qwen3 32B | 33B | 19–22 GB | 48–64 GB | 24 GB |
| Meta Llama 3.3 70B | 70B | 43–45 GB | 64–96 GB | 48 GB |
| OpenAI gpt-oss-120b | 117B | 63–71 GB | 96–128 GB | 80 GB |
Drei Lösungen im Überblick
| Lösung | System | Bedienung | Kostenlos | Geeignet für |
| iBoomto | Windows | Grafische Oberfläche | Ja. | Anfänger und Unternehmen ohne professionelle Techniker |
| LM Studio | macOS, Windows, Linux | Grafische Oberfläche | Ja, auch im Unternehmen | Anfänger und Teams, die Modelle einfach testen möchten |
| Ollama | macOS, Windows, Linux | Kommandozeile | Ja, quelloffen | Technikaffine Nutzer und Entwickler |
iBoomto AI ist eine Dokumentenverarbeitung Software, die ausschließlich für Windows-Systeme verfügbar ist und den Download mehrerer KI-Modelle unterstützt. Die im September 2026 veröffentlichte Software eignet sich besonders für KMU zur intelligenten Dokumentenverarbeitung und zum Aufbau interner Wissensdatenbanken mithilfe von Chat. Die Unterstützung großer lokaler Sprachmodelle gewährleistet effektiv die Datensicherheit. Die Software ist benutzerfreundlich, für Nicht-IT-Fachleute konzipiert und unterstützt Unternehmen bei der effizienten Abwicklung ihrer Arbeitsabläufe.
Schritt 1: iBoomto AI herunterladen und installieren
Besuchen Sie die offizielle iBoomto-Website, um iBoomto AI herunterzuladen. Die aktuelle Version unterstützt mehrere lokale Sprachmodelle.
Schritt 2: KI-Modell auswählen und herunterladen
Wählen Sie „Lokaler Chat“, suchen Sie sich ein lokales Modell aus und laden Sie es direkt herunter.
Hier sehen Sie auf einen Blick, welche Modelle Ihr Gerät unterstützt. Nicht unterstützte Modelle werden automatisch erkannt und der Grund dafür angezeigt, ohne dass Sie die Daten vorher überprüfen müssen.
Schritt 3: Lokale Sprachmodelle auswählen und loslegen
Nach der Installation können Sie über den Pfeil unter dem Chatfenster verfügbare lokale KI-Modelle auswählen.
Wenn ein lokal LLM ungeeignet wird oder während der Nutzung abstürzt, erkennt die in iBoomto AI integrierte Erkennungsfunktion das Problem automatisch und gibt Lösungsvorschläge.
LM Studio ist eine Desktop-Anwendung zum Herunterladen, Verwalten und Ausführen großer Sprachmodelle. Die Benutzeroberfläche ist intuitiv und benutzerfreundlich, auch ohne technische Vorkenntnisse. LM Studio ist für macOS, Windows und Linux verfügbar. Nach dem Herunterladen des Modells kann LM Studio vollständig offline genutzt werden.
Systemvoraussetzungen für Mac: Apple Silicon Chip (M1 bis M4), macOS 13.4 oder neuer, mindestens 16 GB RAM empfohlen.
Schritt 1: LM Studio herunterladen und installieren
Auf lmstudio.ai den Installer für macOS laden, öffnen und die Anwendung in den Ordner „Programme“ ziehen. Beim ersten Start kann eine Sicherheitsabfrage von macOS erscheinen, die bestätigt werden muss.
Schritt 2: Modell auswählen und herunterladen
Im linken Menü den Reiter Discover öffnen. Dort lassen sich kuratierte Modelle auswählen oder über die Suche finden, etwa Modelle der Familien gpt-oss, Llama, Qwen, Mistral oder DeepSeek R1. Das gewünschte Modell herunterladen.
Schritt 3: Modell laden und Chat starten
Im Reiter Chat das heruntergeladene Modell laden. Anschließend können Fragen gestellt werden.
Ollama ist ein Open-Source-Tool zum Ausführen von Modellen unter macOS, Windows und Linux. Ursprünglich war Ollama nur über die Kommandozeile zugänglich. Seit Sommer 2025 sind auch Desktop-Anwendungen mit Chat-Oberfläche für Windows und macOS verfügbar. Kommandozeile und API bleiben jedoch Kernbestandteile, weshalb sich Ollama primär an technisch versierte Nutzer und Entwickler richtet. Kleine und mittlere Unternehmen (KMU) benötigen möglicherweise technische Unterstützung bei der Installation. Falls in Ihrem Unternehmen keine IT-Fachkräfte vorhanden sind, können Sie eines der beiden zuvor erwähnten einfacheren Installationsprogramme wählen.
Schritt 1: Ollama installieren
Auf ollama.com/download das Installationsprogramm für das eigene Betriebssystem laden (unter Windows OllamaSetup.exe) und ausführen. Ollama läuft danach im Hintergrund und erscheint in der Taskleiste. Unter Linux erfolgt die Installation über ein Skript im Terminal.
Schritt 2: Modell starten
Ein Terminal oder die Eingabeaufforderung öffnen und ein Modell aufrufen, zum Beispiel mit dem Befehl ollama run llama3.2. Beim ersten Start wird das Modell automatisch heruntergeladen. Verfügbare Modelle zeigt die Ollama-Modellbibliothek.
Schritt 3: Chat verwenden
Anschließend lassen sich Fragen direkt im Terminal oder in der Desktop-App stellen. In der App können Text- und PDF-Dateien per Drag-and-drop hinzugefügt werden.
Heruntergeladene Modelle werden unter Windows standardmäßig im Benutzerordner unter .ollama\models gespeichert, was bei der Planung des Speicherplatzes relevant ist.
Für Geschäftsinhaber und Teammitglieder, die ihre Arbeitseffizienz und Datensicherheit verbessern möchten, bietet die Installation lokaler KI mehrere entscheidende Vorteile.
Wichtig ist jedoch: Modelle sollten nur von vertrauenswürdigen Quellen bezogen, die Software stets aktuell gehalten und der Gerätezugriff geschützt werden. Beachten Sie die Datenschutzrichtlinien des Anbieters hinsichtlich der Einhaltung der Datenschutzbestimmungen. Kleine lokale Modelle weisen zudem bei komplexen Aufgaben eine begrenzte Leistungsfähigkeit auf. Daher empfiehlt es sich, für unterschiedliche Arbeitslasten verschiedene Modelle auszuwählen.
Je nach Verwendungszweck können Sie diese Vorschläge zur Auswahl eines großen KI-Modells nutzen. Dies dient lediglich als Orientierungshilfe und sollte nicht als alleiniges Kriterium betrachtet werden.
| Einsatzzweck | Empfohlene Modellklasse | Beispiele für KI-Modelle |
| Einfache Textaufgaben, Zusammenfassungen | Kleine Modelle (ca. 3 bis 8 Milliarden Parameter) | Llama 3.2 3B, Qwen3 4B, Gemma 3 4B |
| Fragen zu Dokumenten | Mittlere Modelle (ca. 8 bis 14 Milliarden Parameter) | Qwen3 8B, Gemma 4 12B, Qwen3 14B |
| Programmierung | Auf Code spezialisierte Modelle | Qwen2.5-Coder 7B, DeepSeek-Coder-V2-Lite, StarCoder2 7B |
| Deutschsprachige Texte | Mehrsprachige Modelle | Qwen3 8B, Llama 3.1 8B, Gemma 3 12B |
| Komplexe Analysen | Große Modelle (ab ca. 30 Milliarden Parametern) | Qwen3 32B, Gemma 3 27B, Llama 3.3 70B |
Kostenlos herunterladenFür alle, die ihre Daten schützen und gleichzeitig die Vorteile künstlicher Intelligenz nutzen möchten, ist die Installation einer lokalen KI eine hervorragende Wahl. Mit der passenden Hardware lässt sich die Installation mithilfe kostenloser Software in wenigen Schritten durchführen. Für kleine und mittelständische Unternehmen ohne spezielle IT-Kenntnisse kann man mit iBoomto und LM Studio lokale KI installieren; für technisch versierte Anwender ist Ollam besser geeignet.
Die Installation einer lokalen KI ist erst der Anfang. Sobald die KI lokal läuft, besteht das Ziel darin, einen vollständigen Workflow zu realisieren. iBoomto ermöglicht einen kompletten Dokumentenverarbeitungs-Workflow direkt auf Windows-Systemen, indem Dokumente direkt analysiert, Inhalte zusammengefasst und interne Informationen gezielt abgefragt werden, ohne sensible Daten vom Gerät zu übertragen.
