Welche Hardware braucht lokale KI im Unternehmen?

Kurz gesagt: Für einen ersten Test reicht oft die Hardware, die schon im Büro steht: Ein kleines Sprachmodell braucht in 4-Bit-Fassung rund 5 GB Speicher, ein großes 70B-Modell rund 43 GB. Für den Alltag eines Teams entscheiden vor allem zwei Dinge: wie viel Arbeits- bzw. Grafikspeicher das Gerät hat und wie viele Anfragen gleichzeitig eintreffen. Ein kompaktes KI-System mit 128 GB, das ein kleines Team versorgen kann, kostete im September 2026 bei Händlern ab rund 5.000 Euro netto. Wer viele Anfragen parallel oder automatisiert verarbeiten will, braucht mehr Hardware.

Preise und Modellangaben: Stand November 2026.

„Reicht unser Server dafür?“ Das ist eine der ersten Fragen, wenn eine Kanzlei, eine Praxis oder ein kleines Büro über eigene KI nachdenkt. Die Antwort hängt weniger vom Prozessor ab als viele vermuten. Bei lokaler KI-Hardware zählt vor allem der Speicher, und der lässt sich recht genau abschätzen, wenn Modell und Zahl gleichzeitiger Nutzer bekannt sind.

Was „lokale KI“ hardwareseitig bedeutet: Das Sprachmodell, auch LLM (Large Language Model) genannt, läuft auf einem eigenen Rechner oder Server im Unternehmen, nicht im Rechenzentrum eines Anbieters. Man spricht auch von On-Premise-Betrieb. Die Eingaben werden dort verarbeitet, wo das Gerät steht. Warum das für vertrauliche Daten wichtig ist, lesen Sie im Beitrag Wo landen Ihre Daten, wenn Mitarbeiter ChatGPT nutzen?

Was bestimmt die Hardware-Anforderungen für lokale KI?

Vor allem zwei Dinge: wie viel schneller Speicher zur Verfügung steht und wie viele Anfragen gleichzeitig laufen. Dahinter stehen fünf Faktoren.

1. Modellgröße. Sprachmodelle werden nach der Zahl ihrer Parameter benannt, also der gelernten Zahlenwerte. „8B“ steht für 8 Milliarden, „27B“ für 27 Milliarden, „70B“ für 70 Milliarden. Größere Modelle können anspruchsvollere Aufgaben lösen, brauchen aber mehr Speicher und rechnen langsamer.

2. Quantisierung. Ein Modell lässt sich verkleinern, indem man jeden Parameter mit weniger Bits speichert, etwa mit 4 statt 16 Bit. Das spart rund drei Viertel des Speichers. Eine Studie mit über 500.000 Auswertungen zeigt, dass gut umgesetzte 4-Bit-Varianten bei vielen Aufgaben nahe an die volle Genauigkeit herankommen (Kurtic u. a., ACL 2025). Für besonders heikle Aufgaben lohnt trotzdem ein Vergleich mit einer genaueren Variante.

3. Arbeitsspeicher und Grafikspeicher (RAM/VRAM). Das ist der wichtigste Engpass. Damit ein Modell zügig antwortet, muss es vollständig in den Speicher passen, auf den der Rechenchip schnell zugreifen kann: bei einer Grafikkarte in deren eigenen Grafikspeicher (VRAM), bei Geräten mit gemeinsamem Speicher wie Macs oder NVIDIAs GB10-Systemen in den gemeinsamen Arbeitsspeicher.

4. Kontextlänge. Der Kontext ist die Textmenge, die das Modell auf einmal berücksichtigt: Frage, Verlauf und hochgeladene Dokumente. Mehr Kontext braucht mehr Speicher; die Software Ollama passt ihre Voreinstellung deshalb an den verfügbaren Grafikspeicher an, von rund 4.000 Tokens bei weniger als 24 GB Grafikspeicher bis rund 256.000 Tokens ab 48 GB (Ollama-Dokumentation). Ein Token entspricht grob einem Wortteil. Moderne Modelle sind allerdings auf lange Dokumente ausgelegt: Bei Qwen3.8-27B arbeiten nur 16 von 64 Schichten mit klassischer Aufmerksamkeit, deren Speicher mit dem Text wächst, und das mit nur 4 Schlüssel-Wert-Köpfen. Eine Anfrage mit 32.000 Tokens Kontext braucht dadurch nur rund 2 GB zusätzlich (eigene Berechnung nach der Modellkarte).

5. Parallelität. Hier liegt das häufigste Missverständnis. Zehn regelmäßige Nutzer sind nicht dasselbe wie zehn gleichzeitige Anfragen. Wer morgens drei Fragen stellt und nachmittags ein Dokument zusammenfassen lässt, belegt das Gerät nur für die Sekunden oder Minuten, in denen die Antwort entsteht. Gleichzeitig wird es erst, wenn mehrere Anfragen in genau diesem Moment bearbeitet werden. Jede gleichzeitige Anfrage braucht eigenen Speicher für ihren Kontext. In Ollama etwa wächst der Speicherbedarf mit der Zahl paralleler Anfragen mal Kontextlänge; die Voreinstellung bearbeitet eine Anfrage pro Modell gleichzeitig und reiht weitere in eine Warteschlange ein (Ollama-FAQ). Server-Software wie vLLM ist dagegen darauf ausgelegt, viele Anfragen gleichzeitig zu bündeln (vLLM-Dokumentation).

Wie viel Speicher braucht ein lokales LLM?

In der gängigen 4-Bit-Fassung braucht ein kleines 8B-Modell rund 5 GB, ein mittelgroßes 27B-Modell rund 19 GB und ein 70B-Modell rund 43 GB, jeweils für die Modelldatei ohne Kontext.

Faustregel: Speicherbedarf der Modelldatei in GB ≈ Parameter in Milliarden × Bits pro Parameter ÷ 8. Die verbreitete 4-Bit-Variante Q4_K_M nutzt tatsächlich knapp 4,9 Bit pro Parameter, weil einige Teile genauer gespeichert bleiben. Ein 8B-Modell braucht damit rund 4,9 GB, ein 70B-Modell rund 43 GB (llama.cpp). Dazu kommt Speicher für Kontext und Betriebssystem.

Zwei Beispiele aus den offiziellen Dateilisten zeigen, wie stark die Quantisierung den Bedarf senkt:

Quellen: llama.cpp, Hugging Face, Stand November 2026. Werte für die Modelldatei, ohne Kontext und Betriebssystem.

Qwen3.8-27B von Alibaba steht unter der Apache-2.0-Lizenz, darf also kommerziell genutzt werden, und verarbeitet bis zu 262.144 Tokens Kontext (Modellkarte). Einen anderen Weg geht OpenAIs offenes Modell gpt-oss: Die große Variante mit 117 Milliarden Parametern passt laut Hersteller auf eine einzelne Grafikkarte mit 80 GB, die kleine mit 21 Milliarden Parametern läuft mit 16 GB Speicher (Modellkarte von OpenAI).

Daraus ergibt sich als Orientierung, welche Modellgröße in welchen Speicher passt:

Orientierung für die Modelldatei, ohne Kontext. Bei Geräten mit gemeinsamem Speicher braucht auch das Betriebssystem einen Teil davon.

Warum große Modelle trotzdem flüssig laufen: Viele aktuelle Modelle sind sogenannte Mixture-of-Experts-Modelle. gpt-oss-120b etwa hat 117 Milliarden Parameter, nutzt für jedes Token aber nur 5,1 Milliarden davon (Modellkarte von OpenAI). Der Speicherbedarf richtet sich nach allen Parametern, das Tempo nach den aktiven. Deshalb laufen solche Modelle auf Geräten mit viel Speicher flüssig.

Kann ich lokale KI mit vorhandener Hardware testen?

Ja, für einen ersten Eindruck reicht meist ein vorhandener Rechner. Mit kostenlosen Programmen wie Ollama, LM Studio oder der Chatoberfläche Open WebUI lässt sich ein Modell auf einem einzelnen Rechner starten.

• Ein aktueller Laptop oder Büro-PC mit 16 GB Arbeitsspeicher reicht für kleine Modelle bis etwa 8B in 4-Bit. Ohne Grafikkarte antwortet das Modell langsamer, für einen Eindruck genügt es.
• Ein Mac mit Apple-Chip und viel Arbeitsspeicher ist ein guter Testrechner, weil der gemeinsame Speicher auch dem Grafikteil zur Verfügung steht. Ab etwa 36 GB sind mittelgroße Modelle wie Qwen3.8-27B in 4-Bit möglich (Modelldatei rund 19 GB).
• Ein PC mit Grafikkarte ist schnell, solange das Modell in den Grafikspeicher passt. Mit 16 GB VRAM etwa läuft gpt-oss-20b.

Ein solcher Test zeigt, ob die Antworten für Ihre Aufgaben taugen. Er zeigt noch nicht, wie sich das System verhält, wenn mehrere Mitarbeitende es gleichzeitig nutzen.

Drei Szenarien: vom Test bis zum KI-Server

Für einen Test genügt vorhandene Hardware, für ein kleines Team ein kompaktes KI-System oder eine Workstation, für viele gleichzeitige Anfragen ein KI-Server mit Profi-Grafikkarten. Wie viele Personen ein Gerät tatsächlich gut versorgt, lässt sich verlässlich nur messen.

Preise: Händlerangaben netto, Stand September bis November 2026. *Grafikkarten: niedrigster Händlerpreis laut Preisvergleich, dort ohne Angabe zur Mehrwertsteuer. Wegen knapper Speicherchips sind die Preise 2026 deutlich gestiegen (Hardwareluxx); prüfen Sie vor dem Kauf den Tagespreis.

Kompakte KI-Systeme. NVIDIAs DGX Spark mit dem GB10-Chip passt auf jeden Schreibtisch, hat 128 GB gemeinsamen Arbeitsspeicher mit 273 GB/s Bandbreite und ein 240-Watt-Netzteil. NVIDIA nennt Modelle mit bis zu 200 Milliarden Parametern als möglich (laut NVIDIA). Bei Händlern lagen 128-GB-Geräte im September 2026 je nach Hersteller und SSD-Größe bei rund 5.000 bis 8.100 Euro netto, eine 64-GB-Variante beginnt bei etwa 3.150 Euro netto (pi3g). Geräte mit AMDs Ryzen AI Max+ 395 bieten bis zu 128 GB, von denen unter Windows bis zu 96 GB als Grafikspeicher nutzbar sind (AMD). Apples Mac Studio gibt es mit M5 Max und bis zu 128 GB (bis 614 GB/s) oder mit M5 Ultra und bis zu 512 GB (1,2 TB/s) (Apple); der Einstieg mit M5 Max und 36 GB liegt bei 2.999 Euro inklusive Mehrwertsteuer, also rund 2.520 Euro netto (Macwelt), Ausstattungen mit viel Speicher kosten deutlich mehr.

Welches Gerät für welche Arbeit. Beim Einlesen langer Dokumente zählt vor allem Rechenleistung, beim Schreiben der Antwort vor allem die Speicherbandbreite, also wie schnell das Gerät die Modelldaten aus dem Speicher liest (Davies u. a., 2025). GB10-Systeme wie die DGX Spark bringen viel Rechenleistung mit, laut NVIDIA bis zu 1.000 Billionen Rechenoperationen pro Sekunde (NVIDIA); sie sind deshalb stark beim Einlesen und bündeln viele gleichzeitige Anfragen gut. Der Mac Studio hat eine sehr hohe Bandbreite von 614 GB/s bzw. 1,2 TB/s und schreibt einzelne Antworten schnell (Apple). Welche Stärke wichtiger ist, hängt davon ab, ob Ihr Team vor allem lange Unterlagen auswertet oder viele kurze Fragen stellt.

Workstations und Server mit Grafikkarte. Profi-Grafikkarten haben eigenen, sehr schnellen Speicher. Die RTX PRO 5000 Blackwell bietet 48 GB, der niedrigste Händlerpreis in Europa lag Anfang November 2026 bei knapp 7.700 Euro (GPU Prix). Die RTX PRO 6000 Blackwell hat 96 GB; hier lag der niedrigste Händlerpreis in Europa zum selben Zeitpunkt bei rund 11.000 Euro (GPU Prix). Dazu kommen Gehäuse, Prozessor, Arbeitsspeicher und Netzteil. Solche Systeme spielen ihre Stärke aus, wenn viele Anfragen gleichzeitig laufen, etwa bei automatisierter Dokumentenverarbeitung.

Was zählt neben der Hardware?

Neben dem Gerät zählen vor allem Betrieb, Updates und Software, und all das liegt bei lokaler KI in Ihrer Hand. Ein KI-System unter Dauerlast behandeln Sie wie einen Server: Aufstellort mit genug Luft, nicht im geschlossenen Schrank, und eine passende Grenze für gleichzeitige Anfragen in der Server-Software. So bleibt lokale KI zuverlässig:

• Sparsamer Dauerbetrieb: Kompakte KI-Systeme kommen mit überschaubarem Strombedarf aus. Die DGX Spark etwa hat ein Netzteil mit höchstens 240 Watt.
• Updates nach Ihrem Zeitplan: Sie entscheiden, wann ein Update oder ein neues Modell eingespielt wird. Ein bewährtes Modell bleibt im Einsatz, solange es Ihnen dient; kein Anbieter tauscht es über Nacht aus.
• Backup nach Ihren Regeln: Einstellungen und Gesprächsverläufe sichern Sie wie Ihre übrigen Unternehmensdaten.
• Betreuung wie bei anderer IT: Eine Person im Haus oder ein Dienstleister kümmert sich um das System, ähnlich wie um Server oder Telefonanlage.
• Software, die mitwächst: Chatoberfläche und Benutzerverwaltung gibt es als frei verfügbare Software. Mit der Anbindung an Ihre Dokumente wird aus dem Chat ein Werkzeug, das Ihr eigenes Wissen kennt.

Dafür erhalten Sie feste, planbare Kosten ohne nutzungsabhängige Gebühren, und Ihre Daten bleiben im Haus. Wie sich die Kosten zusammensetzen, beschreibt der Beitrag Was kostet lokale KI wirklich?

Häufige Fragen

Reicht ein normaler Büro-PC für lokale KI?
Für einen ersten Test oft ja. Mit 16 GB Arbeitsspeicher laufen kleine Modelle bis etwa 8 Milliarden Parameter in 4-Bit-Fassung, ohne Grafikkarte allerdings langsam. Für ein Team im Alltag ist ein Gerät mit deutlich mehr schnellem Speicher sinnvoll.

Brauche ich für lokale KI eine Grafikkarte?
Nicht zwingend. Entscheidend ist schneller Speicher, auf den ein KI-fähiger Chip zugreifen kann. Das bietet eine Grafikkarte mit eigenem VRAM, aber auch ein Gerät mit gemeinsamem Speicher wie ein Mac mit Apple-Chip, ein System mit NVIDIA GB10 oder AMD Ryzen AI Max.

Wie viel VRAM braucht ein 70B-Modell?
In der gängigen 4-Bit-Fassung Q4_K_M ist die Modelldatei eines 70B-Modells rund 43 GB groß (llama.cpp). Dazu kommt Speicher für den Kontext. In der Praxis heißt das eine Grafikkarte mit 48 GB, knapp bemessen, oder ein Gerät mit 64 GB oder mehr gemeinsamem Speicher.

Was kostet ein KI-Server für ein kleines Unternehmen?
Für ein kleines Team reicht oft ein kompaktes KI-System: Geräte mit NVIDIAs GB10-Chip und 128 GB kosteten im September 2026 bei Händlern rund 5.000 bis 8.100 Euro netto (pi3g). Server für viele gleichzeitige Anfragen kosten deutlich mehr; allein eine Profi-Grafikkarte mit 96 GB lag Anfang November 2026 bei rund 11.000 Euro (GPU Prix). Was Strom und Betreuung dazu kosten, zeigt der Beitrag Was kostet lokale KI wirklich?

Wie viele Mitarbeitende kann ein Gerät bedienen?
Das hängt weniger von der Zahl der Mitarbeitenden ab als von der Zahl gleichzeitiger Anfragen, vom Modell und von der Länge der Dokumente. Seriös lässt sich das nur mit einer Messung unter Ihren Bedingungen beantworten.

Mac oder PC für lokale KI?
Beides funktioniert. Ein Mac mit viel gemeinsamem Arbeitsspeicher lädt auch große Modelle und schreibt einzelne Antworten schnell. Ein PC oder Server mit Profi-Grafikkarte eignet sich besonders für viele gleichzeitige Anfragen und ist die übliche Plattform für Server-Programme wie vLLM.

Kann ich später aufrüsten?
Bei Workstations und Servern lässt sich oft eine weitere Grafikkarte ergänzen. Bei kompakten Geräten mit gemeinsamem Speicher ist der Speicher in der Regel fest verbaut; hier wählen Sie die Größe beim Kauf. Zwei DGX-Spark-Geräte lassen sich laut NVIDIA koppeln, um größere Modelle zu betreiben.

Läuft ein lokales LLM ohne Internet?
Ja. Ist das Modell einmal heruntergeladen, beantwortet es Anfragen auf dem eigenen Gerät. Eine Verbindung braucht es nur für Updates und neue Modelle.

Fazit: Speicher und Gleichzeitigkeit entscheiden

Welche Hardware lokale KI braucht, entscheiden vor allem der Speicher und die Zahl gleichzeitiger Anfragen. Einen Serverschrank braucht es dafür nicht: Für den Einstieg genügt oft ein vorhandener Rechner, für ein kleines Team ein kompaktes System mit viel schnellem Speicher. Erst wenn viele Anfragen gleichzeitig laufen sollen, wird ein Server mit Profi-Grafikkarten nötig.

Alae richtet lokale KI auf eigener Hardware ein und verbindet sie mit dem Wissen und den Abläufen von Unternehmen. Mehr dazu auf unserer Seite Lokale KI.

Wie viele gleichzeitige Anfragen Ihr Team tatsächlich braucht und wie schnell ein Gerät dabei antwortet, messen wir gemeinsam mit Ihnen unter Ihren Bedingungen. Sie möchten wissen, ob Ihre vorhandene Hardware reicht? Wir prüfen das gemeinsam.

Hardware-Check anfragen

Quellen

• NVIDIA: DGX Spark Hardware Overview (Stand 21.10.2026)
• Hardwareluxx: Speicherengpass treibt DGX Spark auf 4.800 Euro (27.02.2026)
• pi3g: NVIDIA DGX Spark Price, Händlerpreise netto (24.09.2026)
• Apple: Mac Studio, technische Daten
• Macwelt: Mac Studio M5 Max und M5 Ultra
• AMD: Ryzen AI Max+ Upgraded, bis zu 96 GB Grafikspeicher unter Windows (29.07.2025)
• GPU Prix: RTX PRO 5000 Blackwell, Preise in Europa (Stand 02.11.2026)
• GPU Prix: RTX PRO 6000 Blackwell, Preise in Europa (Stand 02.11.2026)
• llama.cpp: Quantisierung, Bits pro Gewicht und Dateigrößen
• Hugging Face: Qwen3.8-27B, Modellkarte
• Hugging Face: Qwen3.8-27B-GGUF, Dateigrößen
• Hugging Face: OpenAI gpt-oss-120b, Modellkarte
• Kurtic u. a.: „Give Me BF16 or Give Me Death“? Accuracy-Performance Trade-Offs in LLM Quantization (ACL 2025)
• Davies u. a.: LIMINAL: Exploring The Frontiers of LLM Decode Performance (2025)
• Ollama: FAQ
• Ollama: Context length
• vLLM: Dokumentation