Lokaler KI-Server kaufen oder Cloud? Der Hardware-Guide für 2026
Wer 2026 ernsthaft mit lokalen LLMs arbeitet, stellt sich irgendwann die gleiche Frage: Lohnt sich ein lokaler KI-Server, oder bleibt die Cloud die bessere Wahl?
Ich habe diese Entscheidung gerade selbst durchgearbeitet. Nicht theoretisch, sondern als konkretes Kaufvorhaben für unsere Agentur. Zwei Gründer, Remote-first, täglicher Bedarf an Coding-Assistenten, Penetration Testing und Content-Erstellung. Das Ergebnis: ein klarer Favorit und eine Hardware-Konfiguration, die ich hier offen teile.
Warum die Cloud nicht mehr reicht
Aktuell läuft meine GPU auf Google Cloud Platform. Das funktioniert, aber mit Reibung:
- Spin-up-Zeit: 3 bis 5 Minuten, bis die VM bereit ist. Das klingt harmlos, tötet aber den Flow beim Programmieren.
- Kosten: Eine vergleichbare Cloud-GPU (A6000 Ada oder L40S) kostet 1,00 bis 1,50 Dollar pro Stunde. Im Always-on-Betrieb sind das 700 bis 1.000 Euro monatlich.
- Terms of Service: Cloud-Anbieter filtern Prompts. Wer Exploit-Code analysiert oder Vulnerability-Scans durch ein LLM jagt, riskiert Account-Sperrungen. Für Penetration Testing ist das ein Dealbreaker.
Die Alternative: Ein eigener Server, der 24/7 läuft, null Latenz hat, keine Zensurfilter kennt und nach wenigen Monaten bezahlt ist.
Die Architektur: Thin Client + Home Server
Die wichtigste Erkenntnis aus meiner Recherche: Kaufe keinen teuren KI-Laptop. Trenne stattdessen Arbeitsgerät und Rechenleistung.
Der Thin Client ist dein täglicher Begleiter: ein leichtes Notebook mit guter Tastatur, starkem Akku und gutem Display. Das kann ein MacBook Air sein, ein ThinkPad oder ein Snapdragon-X-Elite-Gerät. Kosten: 700 bis 1.200 Euro. Mein vorhandener MacBook Pro M1 erfüllt diese Rolle perfekt.
Der Workhorse-Server steht zuhause und stellt per API Rechenleistung bereit. Ollama oder vLLM laden die Modelle in den VRAM und bieten einen OpenAI-kompatiblen Endpoint. Dein IDE-Plugin, dein Python-Skript oder Open WebUI verbinden sich mit der gleichen IP, egal ob du zuhause oder im Zug sitzt.
Die GPU-Entscheidung: RTX 5090 vs. Dual RTX 4090 vs. Mac Studio
Für lokale LLMs zählt nur eine Metrik: VRAM. Je mehr davon, desto größere Modelle laufen ohne Auslagerung in den System-RAM, und desto schneller die Token-Generierung.
| App | VRAM (gesamt) | Bandbreite | Max. Modellgröße | Netto-Preis (GPU) | CUDA-Support |
|---|---|---|---|---|---|
| 1x RTX 5090 | 32 GB GDDR7 | 1.792 GB/s | 32B (Q4/Q8) | ab 2.950 € | Ja |
| 2x RTX 4090 | 48 GB GDDR6X | 2x 1.008 GB/s | 70B (Q4) | ab 2.800 € | Ja |
| Mac Studio M4 Ultra 128 GB | 128 GB Unified | 819 GB/s | 100B+ (Q4) | ab 4.500 € | — |
Einzelne RTX 5090 (32 GB)
Die sauberste Lösung. Ein Slot, keine Multi-GPU-Probleme, GDDR7 mit laut NVIDIA-Spezifikation 78 Prozent mehr Bandbreite als die RTX 4090. Für 14B- bis 32B-Modelle (der Sweet Spot für Coding-Assistenten wie Qwen 3.5 Coder) liefert die 5090 die schnellste Token-Generierung aller Consumer-GPUs: laut llama.cpp-Benchmarks rund 7.200 Tokens pro Sekunde auf einem 8B-Modell.
Grenze: 70B-Modelle passen nicht vollständig in 32 GB. Bei Auslagerung in den System-RAM fällt die Geschwindigkeit auf 2 bis 3 Tokens pro Sekunde.
Dual RTX 4090 (48 GB)
Zwei RTX 4090 kosten etwa so viel wie eine RTX 5090, bieten aber 48 GB VRAM. Wichtig: Die RTX 4090 wurde Ende 2024 offiziell eingestellt. Neue Exemplare sind 2026 nur noch als Restbestände oder über den Gebrauchtmarkt (eBay Kleinanzeigen, Hardwareluxx-Forum) verfügbar. Das reicht für ein 70B-Modell in Q4-Quantisierung. Oder: eine Karte für den Coding-Assistenten, die andere für Video- oder Bildgenerierung. Echte Task-Isolation.
Einschränkung: Kein NVLink bei der RTX 4090. Die Karten kommunizieren über PCIe, was bei Tensor-Parallelismus rund 10 bis 15 Prozent Performance kostet. Außerdem braucht ein Dual-Setup ein 1.600-Watt-Netzteil und ein Gehäuse mit ausreichend Platz für die Kühlung.
Mac Studio mit 128 GB Unified Memory
Wenn die größten Modelle das Ziel sind: 128 GB Unified Memory bedeutet, dass die GPU auf den gesamten Speicher zugreifen kann. Ein 100B-Modell in Q4 läuft problemlos. Dazu: nahezu lautlos, deutlich geringerer Stromverbrauch als ein NVIDIA-System (laut Apple unter 100 Watt im Dauerbetrieb), macOS-native Ollama-Unterstützung.
Einschränkung: Kein CUDA. Das Open-Source-Ökosystem für Bildgenerierung (Flux, Stable Diffusion 3) und Video (HunyuanVideo) ist stark auf NVIDIA optimiert. Wer hauptsächlich Text-LLMs für Coding und Reasoning nutzt, hat damit kein Problem. Wer ComfyUI-Workflows plant, stößt auf Kompatibilitätshürden.
Was sich ändert, wenn Bild- und Videogenerierung dazukommt
Wer neben Coding-LLMs auch ComfyUI-Workflows für Bildgenerierung (Flux, Stable Diffusion 3) oder lokale Videogenerierung (HunyuanVideo) plant, steht vor einer anderen Rechnung. Videogenerierung ist der härteste Workload für Consumer-Hardware:
- VRAM-Hunger: Schon ein paar Sekunden hochauflösendes Video brauchen 24 GB VRAM als absolutes Minimum. Mit ControlNets und LoRAs steigt der Bedarf schnell.
- Dauerlast: Anders als LLM-Inference (kurze Bursts) läuft Videogenerierung minutenlang bei 100 Prozent GPU-Auslastung. Auf einem Laptop bedeutet das: Lüfter auf Maximum, heiße Tastatur, Thermal Throttling und Akku leer in 30 Minuten.
- CUDA ist Pflicht: Das Open-Source-Ökosystem für Bild- und Videogenerierung ist fast ausschließlich auf NVIDIA-GPUs optimiert. Mac-Nutzer kämpfen mit Kompatibilitätsproblemen in PyTorch und warten auf Community-Patches.
Für diesen Workload wird die Dual-RTX-4090-Konfiguration zum klaren Gewinner: Eine Karte exklusiv für den Coding-Assistenten, die andere für ComfyUI. Beide laufen parallel, ohne sich gegenseitig VRAM wegzunehmen. Der Server zuhause übernimmt die Dauerlast, der Laptop bleibt kühl und leise.
Unsere Entscheidung
Wir kaufen die einzelne RTX 5090. Unsere tägliche Arbeit dreht sich um 14B- bis 32B-Coding-Modelle und Security-Analysen. Dafür bietet die 5090 die beste Token-Geschwindigkeit pro Euro. Videogenerierung ist für uns aktuell nicht im Fokus. Wer Bild- und Videogenerierung als Kernworkload hat, sollte die Dual-GPU-Route oben ernsthaft prüfen.
Komplette Hardware-Konfiguration (B2B-Netto-Preise Deutschland)
Diese Konfiguration ist auf einen leisen, zuverlässigen 24/7-Betrieb als API-Server ausgelegt. Alle Preise sind Marktpreise Stand April 2026 (Quellen: Geizhals, Mindfactory, Herstellerangaben):
Brutto (inkl. 19% MwSt.): rund 6.210 Euro. Als Betriebsausgabe voll absetzbar.
Günstiger mit RTX 4090
Wer 32 GB VRAM nicht braucht: Eine einzelne RTX 4090 (24 GB) kostet netto rund 1.400 Euro. Die Gesamtkonfiguration fällt damit auf ca. 3.670 Euro netto. Für 14B-Modelle und Standard-Coding-Tasks reicht das locker.
Fertig konfigurierte Systeme in Deutschland
Nicht jedes Unternehmen will selbst zusammenbauen. Diese Anbieter liefern vergleichbare Systeme mit B2B-Rechnung und Garantie:
- sysGen (sysgen.de): devCube-5090. Stress-getestet für KI-Dauerlast. Liefert mit Ubuntu und vorinstalliertem CUDA/PyTorch.
- MIFCOM (mifcom.de): Workstation-Linie mit RTX 5090. Bis zu 5 Jahre Business-Garantie. Noctua-Kühlung, sehr leise.
- Dubaro / Systemtreff: Aggressiv bepreist (ab ca. 4.999 Euro brutto). Gleiche Hardware, weniger Enterprise-Markup.
Cloud vs. Lokal: Die Rechnung
| App | Monatliche Kosten | Verfügbarkeit | Content-Filter | Aufrüstbar | Break-Even |
|---|---|---|---|---|---|
| Cloud GPU (On-Demand) | 700–1.000 € | 3–5 Min. Spin-up | Ja (TOS) | — | — |
| Lokaler Server (RTX 5090) | 25–50 € Strom | Sofort | — | Ja | 5–7 Monate |
Die Breakeven-Rechnung: Ein lokaler Server muss immer verfügbar sein, also ist der faire Vergleich ein Always-on-Cloud-Setup. Bei 1,20 Euro pro Stunde und 720 Stunden im Monat zahlst du in der Cloud rund 860 Euro monatlich. Der lokale Server kostet 5.220 Euro einmalig plus 25 bis 50 Euro Strom. Nach etwa 6 Monaten hast du die Investition raus. Alles danach ist reiner Gewinn.
Wann Cloud trotzdem Sinn ergibt: Für seltene, massive Training Runs, die deine lokale GPU überfordern. Anbieter wie RunPod oder Modal booten in Sekunden und rechnen sekundengenau ab. Als Ergänzung zum lokalen Server, nicht als Ersatz.
Multi-User-Setup für Remote-Teams
Wir sind eine Zwei-Personen-Agentur. Der Server steht bei mir zuhause, mein Co-Gründer greift remote zu. So funktioniert das:
Tailscale als sichere Brücke
Tailscale baut ein verschlüsseltes Mesh-VPN (basierend auf WireGuard) zwischen allen Geräten. Keine Ports am Router öffnen, keine dynamische DNS-Konfiguration. Installation auf dem Server und beiden Laptops, fertig.
- Lokal: Traffic läuft direkt über das WLAN.
- Remote: Tailscale tunnelt verschlüsselt zum Home-Server. Gleiche IP, egal wo du bist.
Geteilte Dienste
Beide greifen auf dieselben Modelle zu. Open WebUI verwaltet getrennte Chat-Historien. Das IDE-Plugin (Continue.dev oder Cline) zeigt in VS Code auf die Ollama-API und funktioniert wie ein privater Copilot, komplett ohne Abo.
VRAM-Management zu zweit
Eine RTX 5090 hat 32 GB. Ein 14B-Coding-Modell belegt rund 8 GB. Bleiben 24 GB frei. Solange nicht beide gleichzeitig ein 32B-Modell und eine Bildgenerierung starten, gibt es keine Konflikte. Falls doch: Linux lagert in den System-RAM aus. Langsamer, aber kein Crash.
Praxis-Regel: Das Always-on-Modell (14B Coder) bleibt dauerhaft geladen. Wer ein größeres Modell braucht, gibt kurz Bescheid. In einem Zweier-Team reicht dafür eine Slack-Nachricht.
Für wen sich welche Option lohnt
Vorteile
- Lokaler Server amortisiert sich in unter 6 Monaten
- Null Latenz, null Spin-up, null Content-Filter
- Volle Datensouveränität für sensible Projekte
- Aufrüstbar: GPU tauschen, RAM nachrüsten
- Kein laufendes Abo, keine Vendor-Lock-in
Nachteile
- Einmalige Investition von 3.500 bis 6.000 Euro
- Linux-Grundkenntnisse für Setup und Wartung nötig
- Kein Zugriff bei Strom- oder Internetausfall zuhause
- Für massive Training Runs (405B-Modelle) zu klein
Lokaler Server ist die richtige Wahl, wenn: Du täglich mit LLMs arbeitest, sensible Daten (Mandanten, Pentests, interne Codebases) verarbeitest, oder schlicht keine Lust auf monatliche Cloud-Rechnungen hast.
Cloud bleibt sinnvoll, wenn: Du nur gelegentlich GPUs brauchst, regelmäßig 405B-Modelle trainieren willst, oder keine Lust auf Hardware-Wartung hast.
FAQ
Wie viel VRAM brauche ich für lokale LLMs?
Für 7B- bis 14B-Modelle (schnelle Coding-Assistenten) reichen 16 GB VRAM. Für 32B-Modelle (der Sweet Spot aus Qualität und Geschwindigkeit) brauchst du 24 bis 32 GB. Für 70B-Modelle wie Llama 3 70B sind laut Ollama-Dokumentation mindestens 48 GB VRAM nötig, was ein Dual-GPU-Setup oder Apple Unified Memory erfordert.
Kann ich eine RTX 5090 im 24/7-Betrieb laufen lassen?
Ja. Die RTX 5090 ist für Dauerlast ausgelegt, solange die Kühlung stimmt. In einem Gehäuse mit gutem Airflow (Fractal Design Meshify 2 XL oder vergleichbar) und einem 1.200-Watt-Netzteil läuft die Karte zuverlässig rund um die Uhr. Laut TechPowerUp liegt die typische Leistungsaufnahme bei Inference-Last unter 300 Watt.
Lohnt sich ein eigener KI-Server für Freelancer?
Wenn du täglich mehr als 2 Stunden mit Cloud-GPUs arbeitest, lohnt sich der Umstieg nach 6 bis 12 Monaten. Bei seltener Nutzung (wenige Stunden pro Woche) sind Serverless-Anbieter wie RunPod oder Modal günstiger. Die Entscheidung hängt vom Nutzungsmuster ab, nicht von der Unternehmensgröße.
Welche Linux-Distribution eignet sich am besten für einen KI-Server?
Ubuntu Server 24.04 LTS ist der De-facto-Standard. NVIDIA-Treiber und CUDA lassen sich über das offizielle Repository installieren. Alle relevanten Tools (Ollama, vLLM, Docker, ComfyUI) bieten Ubuntu als primäre Plattform. Für fortgeschrittene Setups eignet sich auch NixOS wegen der reproduzierbaren Konfiguration.
Fazit: Die klügere Investition
Für Entwickler, Freelancer und kleine Agenturen, die täglich mit KI arbeiten, ist ein lokaler Server 2026 die wirtschaftlich bessere Entscheidung. Du zahlst einmal, nutzt unbegrenzt, behältst die volle Kontrolle. Die Hardware passt auf einen Schreibtisch, der Stromverbrauch liegt bei 25 bis 50 Euro im Monat, und Tailscale macht den Remote-Zugriff so einfach wie eine Cloud-API.
Die Zeiten, in denen lokale KI ein Kompromiss war, sind vorbei. 32 GB VRAM auf einer Consumer-GPU, Open-Source-Modelle auf GPT-4-Niveau und Deployment-Tools wie Ollama machen den eigenen KI-Server zum ernsthaften Produktivitätswerkzeug.
Wer mehr über die Software-Seite erfahren will: In unserem Artikel Lokale LLM-Systeme: Open-Source-Modelle auf eigener Hardware gehen wir im Detail auf Modellauswahl und Deployment-Tools ein. Und wer Datenschutzanforderungen hat, findet in On-Premise LLM: DSGVO-konforme KI auf eigener Infrastruktur die rechtliche Grundlage.