Lokales LLM im Unternehmen einrichten: in sieben Schritten
Ein lokales LLM ist ein Sprachmodell, das komplett auf Ihrer eigenen Hardware läuft. Ihre Texte und Dokumente verlassen dabei nie das Haus. Für den Einstieg brauchen Sie ein offenes Modell wie Qwen oder Mistral, eine Workstation mit mindestens 32 GB Grafikspeicher und eine Software wie Ollama oder vLLM.
- 7 Schrittevom Anwendungsfall zum Betrieb
- 0 Byteverlassen das Unternehmen
- Apache 2.0 / MITfreie Lizenzen für den Einsatz
- ab 32 GBGrafikspeicher für gute Modelle
- 1–2 Wochenbis zum ersten Pilotbetrieb
So richten Sie ein lokales LLM ein
- Anwendungsfall festlegen Starten Sie mit einer Aufgabe, die häufig vorkommt und sich prüfen lässt: Zusammenfassungen, E-Mail-Entwürfe, Suche in Verträgen oder Handbüchern. Daraus ergibt sich, wie groß das Modell sein muss.
- Modell auswählen Achten Sie auf Lizenz, Größe und Deutsch. Apache 2.0 und MIT erlauben die gewerbliche Nutzung ohne Auflagen. Testen Sie zwei bis drei Kandidaten mit 20–50 eigenen deutschen Dokumenten, bevor Sie sich festlegen.
- Hardware bereitstellen Für ein mittelgroßes Modell reicht eine Workstation mit 32 GB Grafikspeicher, für große Modelle oder viele Nutzer braucht es 96–128 GB. Details im Ratgeber KI-Workstation.
- Inferenz-Software installieren Zum Ausprobieren sind Ollama oder LM Studio in Minuten eingerichtet. Für mehrere gleichzeitige Nutzer im Betrieb ist vLLM üblich, für sparsame Hardware llama.cpp. Cloud-Funktionen der Werkzeuge schalten Sie ab, damit nichts das Haus verlässt.
- Oberfläche und Rechte einrichten Eine Chat-Oberfläche im Browser, etwa Open WebUI, mit Anmeldung über das Firmenkonto. Legen Sie fest, wer welche Modelle und Dokumentensammlungen nutzen darf.
- Eigene Dokumente anbinden Über Retrieval Augmented Generation (RAG) durchsucht das Modell Ihre Dokumente und zitiert die Fundstelle. Wichtig: Die Berechtigungen aus Ihrem Dateisystem gelten weiter.
- Betrieb absichern Updates, Backups, Protokollierung und ein Notfallplan. Neue Modellversionen erscheinen alle paar Monate; prüfen Sie sie mit Ihren Testdokumenten, bevor Sie wechseln.
Welche Modelle lokal laufen (Stand Herbst 2026)
| Modell | Größe | Lizenz | Speicherbedarf |
|---|---|---|---|
| MiniCPM5-2B | 2 Mrd. Parameter | Apache 2.0 | ca. 2,4 GB (4 Bit) |
| Qwen3.5-9B | 9 Mrd., Text und Bild | Apache 2.0 | ca. 4,5 GB plus Kontext (4 Bit) |
| Qwen3.8-27B | 27 Mrd. | Apache 2.0 | ca. 19 GB (4 Bit) |
| Mistral Small 4 | 119 Mrd., 6,5 Mrd. aktiv | Apache 2.0 | großer Speicher nötig; europäischer Anbieter |
| Qwen3.8-Flash-Next | 125 Mrd., ca. 6 Mrd. aktiv | Qwen-Community-Lizenz | ca. 112 GB (4 Bit), passt auf 128-GB-Systeme |
| GLM-5.3-Flash | 320 Mrd., ca. 18 Mrd. aktiv | MIT | ca. 120 GB (3 Bit) |
Angaben laut Context Studios (30.09.2026) und Advisori (07/2026). Neue Versionen erscheinen laufend; vor dem Einsatz prüfen wir Lizenz und Modellkarte.
Für die meisten Büroaufgaben im Mittelstand ist ein Modell mit 9–30 Mrd. Parametern der beste Kompromiss aus Qualität, Tempo und Hardwarekosten.
Lokales LLM oder ChatGPT?
Datenschutz
Lokal: keine Übermittlung an Dritte, kein Auftragsverarbeitungsvertrag mit einem Cloud-Anbieter nötig. Wichtig für Berufsgeheimnisträger, siehe Mandantendaten und § 203 StGB.
Qualität
Die größten Cloud-Modelle sind bei sehr komplexen Aufgaben weiterhin vorn. Für Zusammenfassen, Entwerfen und Suchen in eigenen Dokumenten reichen gute lokale Modelle meist aus.
Kosten
Lokal: einmalige Hardware plus Betrieb, keine Kosten pro Nutzer oder Anfrage. Ab etwa zehn regelmäßigen Nutzern rechnet sich das oft, siehe ChatGPT und Datenschutz.
Häufige Fragen zum lokalen LLM
Was ist ein lokales LLM?
Ein großes Sprachmodell, das auf Rechnern im eigenen Unternehmen läuft statt in der Cloud eines Anbieters. Eingaben und Dokumente bleiben im Firmennetz.
Ist ein lokales LLM DSGVO-konform?
Es erleichtert die DSGVO deutlich, weil keine Daten an Dritte gehen. Sie brauchen trotzdem eine Rechtsgrundlage für die Verarbeitung, Zugriffsrechte und eine Dokumentation, wie bei jeder anderen Software.
Welches lokale LLM ist am besten für Deutsch?
Das hängt von Ihren Texten ab. Gute Kandidaten sind aktuelle Qwen- und Mistral-Modelle. Testen Sie zwei bis drei mit 20–50 eigenen Dokumenten, bevor Sie sich festlegen.
Was kostet ein lokales LLM?
Die Modelle selbst sind kostenlos. Kosten entstehen für Hardware (ab etwa 5.000 € für die Grafikkarte, Stand November 2026), Einrichtung und Betrieb.
Wie lange dauert die Einrichtung?
Ein Test mit Ollama auf vorhandener Hardware dauert Stunden. Ein Pilotbetrieb mit Oberfläche, Login und eigenen Dokumenten ist meist in ein bis zwei Wochen aufgebaut.
Quellen: Context Studios: Open-Weight-LLMs und Hardware (09/2026) · Advisori: Lokale LLMs im Enterprise-Vergleich
Lokales LLM mit Innobotics einrichten
Wir wählen mit Ihnen Modell und Hardware, richten Oberfläche, Rechte und Dokumentensuche ein und schulen Ihr Team.