Lokale KI: Modelle, Hardware und Kosten im Überblick
Lokale KI heißt: Ein Sprachmodell läuft auf einem Rechner, der Ihnen gehört, am Arbeitsplatz oder im Serverraum, statt bei einem Cloud-Anbieter. Möglich machen das Open-Weight-Modelle, deren Gewichte frei herunterladbar sind. Entscheidend ist der Speicher: Ein Modell mit 8 Milliarden Parametern läuft auf einem guten Laptop, eines mit 70 Milliarden braucht rund 48 GB Grafikspeicher.
- 0,6 GBSpeicher je Milliarde Parameter bei 4-Bit
- 6–7 GBfür ein 8B-Modell inkl. Puffer
- 21–23 GBfür ein 32B-Modell
- 45–48 GBfür ein 70B-Modell
- 128 GBgemeinsamer Speicher in KI-Mini-PCs
Was ist lokale KI?
Bei ChatGPT, Copilot oder Gemini wird jede Eingabe an Rechenzentren des Anbieters geschickt. Bei lokaler KI bleibt die Verarbeitung auf eigener Hardware. Für die Nutzer sieht es gleich aus: Browser öffnen, Frage eintippen, Antwort lesen.
Open-Weight-Modell
Die trainierten Gewichte eines Sprachmodells sind frei herunterladbar und laufen danach ohne Internet. Die meisten dieser Modelle sind offen nutzbar, aber nicht im strengen Sinn Open Source: Trainingsdaten und Code sind oft nicht veröffentlicht.
Lokal am Arbeitsplatz
Ein Modell läuft auf einem einzelnen PC oder Laptop. Gut zum Ausprobieren und für eine Person, für Teams aber meist zu langsam.
Lokal im Unternehmen
Ein KI-Server im eigenen Netz bedient mehrere Mitarbeitende gleichzeitig. Das nennt man auch On-Premise-KI.
Welche KI-Modelle laufen lokal?
Die Auswahl wächst jeden Monat. Für den lokalen Betrieb zählen vor allem Modelle, die auf eine Grafikkarte oder einen Arbeitsplatzrechner passen.
| Modellfamilie | Anbieter | Größen für lokalen Betrieb | Lizenz |
|---|---|---|---|
| Qwen 3.6 / 3.8 | Alibaba | 27B, außerdem 35B-A3B als Mixture-of-Experts | Apache 2.0 (größere Varianten teils eigene Lizenz) |
| Gemma 4 | E2B, E4B, 12B, 26B-A4B, 31B | Apache 2.0 | |
| gpt-oss | OpenAI | 20B (läuft laut OpenAI in 16 GB), 120B | Apache 2.0 |
| Mistral Small | Mistral AI (Frankreich) | rund 24B | Apache 2.0 |
| DeepSeek, GLM, Kimi | verschiedene | Hunderte Milliarden Parameter | meist MIT oder eigene Lizenz, nur auf Servern mit mehreren GPUs |
Mixture-of-Experts (MoE): Bei Modellen wie „35B-A3B“ arbeiten pro Wort nur 3 Milliarden Parameter. Das macht sie schnell. Im Speicher liegen müssen trotzdem alle 35 Milliarden.
Quellen: morphllm.com, benchlm.ai, Stand Oktober 2026. Lizenzbedingungen vor dem gewerblichen Einsatz immer im Original prüfen.
Wie viel Speicher braucht ein lokales LLM?
Ein Sprachmodell liegt während der Arbeit komplett im Grafikspeicher (VRAM) oder im gemeinsamen Speicher. Mit Quantisierung, einer verlustarmen Kompression auf 4 oder 8 Bit, sinkt der Bedarf deutlich.
| Modellgröße | 4-Bit (Q4) | 8-Bit (Q8) | 16-Bit (FP16) |
|---|---|---|---|
| 8 Milliarden | ca. 5 GB | ca. 8,4 GB | ca. 16 GB |
| 14 Milliarden | ca. 8,4 GB | ca. 15 GB | ca. 28 GB |
| 32 Milliarden | ca. 19 GB | ca. 34 GB | ca. 64 GB |
| 70 Milliarden | ca. 42 GB | ca. 74 GB | ca. 140 GB |
Die Werte gelten für die reinen Modellgewichte. Dazu kommen 1 bis 3 GB für Programm und Gesprächsverlauf, bei langen Dokumenten und vielen gleichzeitigen Nutzern deutlich mehr.
Faustregel nach PromptQuorum: rund 0,6 Byte je Parameter bei 4 Bit, 1,05 Byte bei 8 Bit.
Welche Hardware für lokale KI?
PC oder Laptop
- 16 bis 32 GB Speicher
- Modelle bis etwa 14B
- gut zum Testen, für eine Person
KI-Mini-PC mit 128 GB
- z. B. NVIDIA DGX Spark und Partnergeräte, AMD Ryzen AI Max+ 395, Apple Mac Studio
- Modelle bis etwa 70B oder gpt-oss-120b
- leise, aber bei vielen Nutzern langsamer als Grafikkarten
Server mit Profi-GPU
- eine oder mehrere Grafikkarten mit viel Speicher
- mehrere Nutzer gleichzeitig ohne spürbares Warten
- Serverraum, eigener Stromkreis, Kühlung
Preise 2026: Speicherknappheit durch KI-Rechenzentren hat Grafikkarten stark verteuert. Die GeForce RTX 5090 kostet laut PC Games Hardware seit Anfang Oktober ab rund 5.999 Euro, bei einer UVP von 2.099 Euro. Geräte der DGX-Spark-Klasse mit 128 GB liegen bei Händlern bei etwa 5.000 bis 8.100 Euro netto (pi3g). Vor dem Kauf lohnt ein aktueller Preisvergleich.
Welche Software für lokale KI?
| Programm | Wofür | Für wen |
|---|---|---|
| Ollama | Modelle herunterladen und starten, mit Schnittstelle für andere Programme | Einstieg, Entwickler, kleine Server |
| LM Studio | grafische Oberfläche am PC | Ausprobieren am Arbeitsplatz |
| Open WebUI | Chat-Oberfläche im Browser mit Benutzerverwaltung und Dokumentensuche | Teams im Unternehmen |
| llama.cpp | Rechenkern vieler Tools, läuft auch ohne Grafikkarte | Technikinteressierte |
| vLLM | Server für viele gleichzeitige Anfragen | Produktivbetrieb mit mehreren Nutzern |
Was kostet lokale KI im Unternehmen?
Für ein Team zählt nicht nur die Hardware, sondern auch Einrichtung, Anbindung eigener Unterlagen, Schulung und Wartung.
| Ausbaustufe | Modelle | Geeignet für | Richtwert netto |
|---|---|---|---|
| Kompaktsystem | 7 bis 9 Milliarden Parameter | 1 bis 5 Personen, Standardtexte | 4.900 bis 7.900 € |
| Serversystem | 20 bis 30 Milliarden Parameter | mehrere Personen, Fachtexte, längere Dokumente | 9.500 bis 16.900 € |
| Mehrkartensystem | ab 70 Milliarden Parameter | viele parallele Nutzer, anspruchsvolle Texte | 24.000 bis 46.000 € |
Richtwerte von Innobotics für Hardware samt Einrichtung, Details auf der Seite KI-Server. Ihre Konfiguration rechnen Sie im Preisrechner durch. Für eine Kanzlei gibt es eine eigene Kostenrechnung.
Lokal oder Cloud: wann lohnt sich was?
Lokale KI passt, wenn
- personenbezogene Daten oder Betriebsgeheimnisse verarbeitet werden
- Berufsgeheimnisse gelten, etwa in Kanzleien und Praxen
- viele Mitarbeitende täglich arbeiten und Abos teuer würden
- Sie keine Abhängigkeit von Preisen und Bedingungen eines Anbieters wollen
Cloud-KI passt, wenn
- nur öffentliche oder unkritische Inhalte verarbeitet werden
- einzelne Personen gelegentlich KI nutzen
- immer das jeweils stärkste Modell gebraucht wird
- niemand Hardware betreuen kann oder soll
Ehrlich vorweg: Lokale Modelle bis 30 Milliarden Parameter sind für Schreiben, Zusammenfassen und Suchen in eigenen Unterlagen sehr brauchbar, erreichen aber nicht in jeder Aufgabe die größten Cloud-Modelle. Mehr dazu: Lokale KI für Unternehmen und Darf ich ChatGPT mit Mandantendaten nutzen?
Weiterlesen: ChatGPT und Datenschutz und Unternehmens-KI: die vier Wege.
Fragen zu lokaler KI
Was ist lokale KI?
Lokale KI ist ein Sprachmodell, das auf eigener Hardware läuft statt beim Cloud-Anbieter. Eingaben und Dokumente verlassen dabei den eigenen Rechner oder das eigene Netz nicht.
Welche KI kann ich lokal laufen lassen?
Open-Weight-Modelle wie Qwen, Gemma, gpt-oss oder Mistral. Kleinere Varianten bis etwa 14 Milliarden Parameter laufen schon auf einem gut ausgestatteten PC, größere brauchen eine starke Grafikkarte oder einen KI-Server.
Wie viel Grafikspeicher brauche ich für ein lokales LLM?
Als Faustregel rund 0,6 GB je Milliarde Parameter bei 4-Bit-Quantisierung plus 1 bis 3 GB Puffer. Ein 8B-Modell braucht also etwa 6 bis 7 GB, ein 70B-Modell etwa 45 bis 48 GB.
Ist lokale KI DSGVO-konform?
Lokale KI vermeidet die Übermittlung an einen KI-Anbieter und damit Auftragsverarbeitung und Drittlandtransfer für diesen Dienst. Die übrigen Pflichten der DSGVO, etwa Zweckbindung, Löschkonzept und Zugriffsrechte, gelten weiterhin. Dieser Ratgeber ist keine Rechtsberatung.
Was kostet ein lokaler KI-Server?
Bei Innobotics liegen die Richtwerte für Hardware samt Einrichtung zwischen 4.900 und 46.000 Euro netto, je nach Modellgröße und Zahl der Nutzer. Hinzu kommen auf Wunsch Aufbau vor Ort, Schulung, Anbindung eigener Unterlagen und Wartung.
Ist lokale KI so gut wie ChatGPT?
Für Schreiben, Zusammenfassen und Fragen zu eigenen Unterlagen reichen lokale Modelle mittlerer Größe meist aus. Bei sehr komplexen Aufgaben sind die größten Cloud-Modelle oft stärker. Große lokale Modelle ab 70 Milliarden Parametern verkleinern den Abstand.
Lokale KI für Ihr Unternehmen planen
Wir rechnen Cloud-Abo und eigenen Server gegeneinander und sagen Ihnen ehrlich, welche Größe passt, auch wenn ein eigener Server noch nicht sinnvoll ist.