Lokale KI & LLMs mit eGPU
Sprachmodelle auf dem eigenen Rechner laufen zu lassen, scheiterte lange am Speicher. Genau den liefert eine externe Grafikkarte – und zwar günstiger als jeder Laptop mit fest verbauter Karte.
Was diese Seite anders macht als die üblichen LLM-Guides: Sie rechnet durch, was die eGPU-Verbindung dabei wirklich kostet. Die Antwort überrascht die meisten.
Warum überhaupt lokal?
Deine Daten bleiben bei dir. Verträge, Kundendaten, unveröffentlichter Code – das willst du nicht durch fremde Server schicken. Lokal stellt sich die Frage nicht.
Keine laufenden Kosten. Ein Abo kostet 20 Euro im Monat, jeden Monat. Eine Grafikkarte kaufst du einmal.
Offline nutzbar. Im Zug, im Flugzeug, beim Kunden ohne WLAN.
Der Preis dafür: Du brauchst Hardware, und die Modelle bleiben hinter den großen Cloud-Modellen zurück. Für Zusammenfassungen, Code-Vervollständigung, Übersetzungen und Textarbeit reicht das inzwischen locker. Für knifflige Beweisführung nicht.
Der Punkt, den fast alle falsch verstehen
Beim Spielen ist die Anschlussart entscheidend. Ein Thunderbolt-3-Dock kostet dich zweistellige Prozente an Bildrate, weil die Karte in jedem Einzelbild Texturen und Geometrie über das Kabel schaufelt.
Bei Sprachmodellen ist das anders. Fundamental anders.
Ein Modell wird einmal in den VRAM geladen. Danach rechnet die Karte aus ihrem eigenen Speicher. Über die Leitung geht nur noch der erzeugte Text – und der ist winzig.
Die Rechnung dazu: Bei einem Vokabular von 128.256 Token und vier Byte pro Wert fallen rund 513 KB pro erzeugtem Token an. Bei 100 Token pro Sekunde sind das etwa 51 MB/s. Ein Thunderbolt-4-Tunnel trägt rund 4 GB/s. Du nutzt also 1,3 Prozent der Verbindung.
Zum Vergleich, was gleichzeitig im Inneren der Karte passiert: Eine RTX 4090 liest mit 1.008 GB/s aus ihrem Speicher. Das ist mehr als das Hundertfache dessen, was das schnellste eGPU-Kabel schafft. Ob die Karte im Gehäuse neben dem Laptop steht oder im Desktop steckt, ändert daran nichts.
Was die Verbindung tatsächlich kostet
Ladezeit. Sonst nichts.
| Verbindung | Technik | Durchsatz |
|---|---|---|
| Thunderbolt 4 / USB4 | PCIe 3.0 x4 getunnelt | ~4 GB/s |
| Thunderbolt 5 | PCIe-Tunnel, breiter | ~8 GB/s |
| OCuLink | PCIe 4.0 x4 nativ | ~7,88 GB/s |
| PCIe 4.0 x16 (intern) | — | ~31,5 GB/s |
Ein 8B-Modell in 4-Bit belegt rund 4,8 GB. Über OCuLink ist das rechnerisch in gut einer halben Sekunde drin, über Thunderbolt 4 in gut einer. In der Praxis dauert beides länger, weil die SSD zum Flaschenhals wird – aber das Verhältnis bleibt: OCuLink halbiert die Ladezeit, mehr nicht.
Wenn du das Modell morgens einmal lädst und den Tag über nutzt, ist diese halbe Sekunde bedeutungslos.
Die Ausnahme, und sie ist wichtig
Der ganze Befund gilt nur, solange das Modell in den VRAM passt.
Reicht der Speicher nicht, lagern Ollama und Co. einzelne Schichten in den Arbeitsspeicher aus. Ab da läuft bei jedem einzelnen Token Gewichtsverkehr über die Verbindung. Dann bricht die Ausgabe ein, und dann merkst du den Unterschied zwischen OCuLink und Thunderbolt sehr wohl.
Deshalb lautet die Regel für lokale KI: Kauf nach VRAM, nicht nach Anschluss. Ein 16-GB-Modell an Thunderbolt 4 schlägt eine 12-GB-Karte an OCuLink, sobald dein Modell über 12 GB braucht.
Wie viel VRAM für welches Modell?
Die Faustregel für 4-Bit-Quantisierung: Parameter in Milliarden geteilt durch zwei = Gigabyte VRAM.
| Modellgröße | 4-Bit (Q4) | 8-Bit (Q8) | Passt auf |
|---|---|---|---|
| 3–4B | ~2–3 GB | ~4 GB | jede halbwegs aktuelle Karte |
| 7–8B | ~4–5 GB | ~9 GB | 8 GB reicht knapp, 12 GB entspannt |
| 12–14B | ~8–9 GB | ~15 GB | 12 GB knapp, 16 GB gut |
| 27–32B | ~18–20 GB | ~35 GB | 24 GB, mit Abstrichen 20 GB |
| 70B | ~40 GB | ~75 GB | zwei Karten oder Auslagerung |
Der zweite Speicherfresser: der Kontext
Die Tabelle zeigt nur die Gewichte. Dazu kommt der KV-Cache – der Speicher für die laufende Unterhaltung. Bei kurzen Fragen fällt der kaum ins Gewicht. Wirfst du ein 200-seitiges PDF hinein, kommen schnell mehrere Gigabyte obendrauf.
Praktisch heißt das: Plane einen Puffer ein. Ein 14B-Modell mit 9 GB Gewichten auf einer 12-GB-Karte läuft im Chat gut und geht bei langen Dokumenten in die Knie.
Quantisierung, kurz erklärt
Ein Modell wird im Original mit 16 Bit pro Gewicht ausgeliefert. Quantisierung schneidet das herunter – auf 8 Bit, meist auf 4.
Q4_K_M ist der Standard und ein guter Kompromiss: rund ein Viertel des Speicherbedarfs bei kaum messbarem Qualitätsverlust. Darunter, etwa bei Q3 oder Q2, wird es spürbar dümmer. Wenn du die Wahl hast zwischen einem großen Modell in Q3 und einem kleineren in Q4, nimm das kleinere in Q4.
MoE – warum das eGPUs in die Karten spielt
Ein Trend, der sich 2026 durchgesetzt hat: Mixture-of-Experts. nemotron-3.5-lightning etwa hält 30 Milliarden Parameter vor, rechnet aber pro Token nur mit dreien. glm-5.3-flash fährt 18B aktiv.
Für dich bedeutet das: Solche Modelle brauchen VRAM für die volle Parameterzahl, aber wenig Rechenwerk. Sie sind schnell auf Karten, die vor allem eines haben – Speicher.
Genau das ist die Stärke einer eGPU. Du steckst eine Karte mit viel VRAM in ein Gehäuse und hängst sie an einen dünnen Laptop. Rechenleistung im Überfluss brauchst du dafür nicht.
Welche Modelle taugen wofür?
Modellnamen veralten schnell – der Abschnitt ist auf dem Stand von September 2026. Die Regel dahinter hält länger als die Namen, deshalb steht sie jeweils dabei.
Allrounder für den Alltag
Qwen3 (0.6b bis 235b) ist für die meisten die richtige Antwort. Die 8B- und 14B-Größen treffen den Punkt zwischen Qualität und Speicherbedarf, und die Familie deckt jede Kartengröße ab.
Gemma 4 (12b · 26b · 31b) von Google ist die Alternative, wenn dir Sprachqualität wichtiger ist als Werkzeugnutzung. Die 12B läuft auf 12-GB-Karten.
Llama 3.1 8B bleibt der Klassiker – nicht mehr die Spitze, aber gut dokumentiert und mit der größten Auswahl an Anleitungen.
Die Regel: Für Alltagsarbeit ist ein aktuelles 8B- bis 14B-Modell der Bereich, in dem Preis und Nutzen sich treffen. Größer wird selten spürbar besser, aber sicher langsamer.
Programmieren
Qwen2.5-Coder (0.5b bis 32b) ist das Arbeitspferd für Code-Vervollständigung. Die 7B-Variante läuft flüssig auf kleinen Karten und reicht für Autovervollständigung im Editor. Für echtes Refactoring lohnt die 32B, wenn du 24 GB hast.
GLM-5.3-flash von Z.ai ist neu (18B aktiv, multimodal) und zielt auf Coding- und Agenten-Aufgaben.
Die Regel: Beim Programmieren zählt Kontextlänge oft mehr als Modellgröße. Ein 7B-Modell, das deine ganze Datei sieht, hilft dir mehr als ein 32B-Modell, das nur zwanzig Zeilen kennt.
Nachdenken und Rechnen
DeepSeek-R1 (1.5b bis 671b) legt seine Gedankengänge offen. Die 14B- und 32B-Größen lösen Aufgaben, an denen gleichgroße Standardmodelle scheitern – dafür brauchen sie deutlich länger, weil sie sich erst durch ihre Überlegungen schreiben.
Die Regel: Reasoning-Modelle tauschen Zeit gegen Qualität. Für Chat sind sie zäh, für knifflige Einzelfragen die bessere Wahl.
Bilder verstehen
LLaVA (7b · 13b · 34b) und die multimodalen Gemma-Varianten lesen Screenshots, Diagramme und Fotos. Praktisch für Belege, Fehlermeldungen als Bild, Handschrift.
Dauerläufer und Agenten
muse-glimmer (30B, von Meta) ist ausdrücklich für lokal laufende Agenten gebaut, die dauerhaft im Hintergrund arbeiten. granite4.2 (3b · 8b · 30b) von IBM zielt auf Werkzeugnutzung und mehrsprachigen Einsatz.
Die Regel: Für Agenten zählt zuverlässige Werkzeugnutzung mehr als Eloquenz. Modelle, die ausdrücklich mit Tool-Calling werben, sind hier die sichere Wahl.
Was du überspringen kannst
Phi-3 und Qwen 2.5 stehen in vielen älteren Anleitungen. Beide funktionieren weiter, sind aber überholt – nimm Qwen3 oder Gemma 4.
Die Software: Ollama, LM Studio, vLLM
Drei Werkzeuge, drei Zielgruppen. Der Unterschied zwischen ihnen wird oft als Geschwindigkeitsfrage verkauft, und das führt in die Irre.
| Ollama | LM Studio | vLLM | |
|---|---|---|---|
| Zielgruppe | Einstieg, Alltag | Einstieg mit Oberfläche | Server, Agenten |
| Bedienung | Kommandozeile | grafisch | Kommandozeile, API |
| Windows | nativ | nativ | nur über WSL2 |
| Stärke | läuft überall sofort | kein Terminal nötig | Durchsatz bei Parallellast |
Ollama
Der Standardweg. Ein Befehl installiert, ein Befehl lädt ein Modell, fertig.
# macOS / Linux
curl -fsSL https://ollama.com/install.sh | shUnter Windows nimmst du den Installer von ollama.com – native Unterstützung, kein WSL nötig.
Modell laden und loslegen:
ollama run qwen3:8bLäuft das Modell wirklich auf der eGPU? Das beantwortet:
ollama psSteht dort 100% GPU, sitzt alles im VRAM. Taucht ein CPU-Anteil auf, passt das Modell nicht hinein – dann greift die Ausnahme von oben, und du solltest eine Nummer kleiner oder stärker quantisiert wählen.
Welche Karte Ollama sieht, prüfst du direkt beim Treiber:
nvidia-smi # NVIDIA
rocm-smi # AMDTaucht deine eGPU hier nicht auf, ist es kein Ollama-Problem. Dann hängt es am Dock oder am Treiber – der Kompatibilitäts-Ratgeber hilft weiter.
LM Studio
Grafische Oberfläche mit eingebautem Modell-Browser und Chat-Fenster. Wenn dir die Kommandozeile nicht liegt, fang hier an. Die Leistung ist praktisch dieselbe wie bei Ollama, beide setzen im Kern auf llama.cpp.
vLLM
vLLM ist kein besseres Ollama. Es ist ein Server für viele gleichzeitige Anfragen.
Der Unterschied liegt in Continuous Batching und PagedAttention: vLLM bündelt eingehende Anfragen zu gemeinsamen GPU-Operationen, während Ollama sie der Reihe nach abarbeitet.
Was das ausmacht, hängt allein an der Parallellast:
| Last | Ollama | vLLM |
|---|---|---|
| Ein Nutzer, ein Strom | innerhalb 13 % von vLLM | Referenz |
| 50 gleichzeitige Anfragen | ~155 t/s gesamt | ~920 t/s gesamt |
Der Bruch liegt bei ungefähr fünf gleichzeitigen Anfragen. Darunter nimmt sich das nichts.
Im Klartext: Sitzt du allein vor dem Rechner und tippst Fragen ein, bringt dir vLLM nichts. Interessant wird es, wenn mehrere Leute denselben Server nutzen oder ein Agent Dutzende Anfragen parallel abfeuert.
Was vLLM voraussetzt
Hier wird es sperrig, und das gehört gesagt, bevor du eine Stunde verlierst:
- Kein natives Windows. Die Dokumentation schreibt es wörtlich hin. Weg dorthin ist WSL2.
- Linux ist die offiziell unterstützte Plattform.
- NVIDIA: Compute Capability mindestens 7.5, also RTX 20xx oder neuer. Eine gebrauchte GTX 1080 fällt durch – an Ollama läuft sie problemlos.
- Python 3.10 bis 3.13.
- AMD: ROCm ab 6.3, fertige Pakete für ROCm 7.0 und 7.2.1, an Python 3.12 gebunden.
- Apple Silicon: eigenes Paket
vLLM-Metalmit MLX-Backend, ab macOS Sonoma.
Installation und Start unter Linux:
pip install vllm
vllm serve Qwen/Qwen3-8BDas öffnet einen Server mit OpenAI-kompatibler Schnittstelle auf Port 8000. Jedes Werkzeug, das mit der OpenAI-API spricht, kann ihn ansteuern.
Windows: was geht und wie
Ollama und LM Studio laufen nativ. Installer herunterladen, starten, fertig. Die eGPU muss lediglich im Geräte-Manager auftauchen und von nvidia-smi gefunden werden.
vLLM braucht WSL2. Der Weg funktioniert, hat aber eine Stolperstelle, die reihenweise Leute erwischt.
Wie der GPU-Durchgriff funktioniert
WSL2 emuliert die Grafikkarte nicht. Microsoft und NVIDIA haben dafür GPU-PV gebaut – GPU-Paravirtualisierung. Der Windows-Treiber reicht ein virtualisiertes Gerät in die Linux-Umgebung; dort erscheint es als /dev/dxg, und nvidia-smi spricht durch diesen Kanal mit dem Windows-Treiber.
Die Falle
Installiere in WSL2 niemals einen Linux-NVIDIA-Treiber. Er überschreibt die Windows-Stubs und zerreißt die Kette. Danach findet WSL2 gar keine Karte mehr.
Installiert wird ausschließlich das CUDA-Toolkit – Compiler, Bibliotheken, Header. Der Treiber kommt von Windows und bleibt dort.
Weitere Voraussetzungen: Windows-Treiber ab Version 535, dazu Windows 11 22H2 oder neuer beziehungsweise WSL ab 2.0.
Und mit einer eGPU?
Belastbare Messungen für eGPUs in WSL2 gibt es öffentlich nicht – das ist ehrlich gesagt eine Lücke. Der Mechanismus spricht aber dafür, dass es funktioniert: Der Durchgriff hängt am Windows-Treiber, nicht am Bus. Was Windows sieht, sieht WSL2 auch.
Prüfen kannst du das in zwei Schritten:
# 1. In Windows (PowerShell)
nvidia-smi# 2. In WSL2
nvidia-smiZeigt der erste Befehl deine eGPU und der zweite nicht, liegt es am WSL-Aufbau – nicht am Gehäuse.
Was du an Tempo erwarten darfst
Die folgenden Zahlen stammen aus der offiziellen Messreihe des llama.cpp-Projekts, Llama 2 7B in Q4_0 mit Flash Attention:
| GPU | Textausgabe (tg128) |
|---|---|
| RTX 5090 | ~274 t/s |
| RTX 5080 | ~192 t/s |
| RTX 5070 Ti | ~176 t/s |
Zwei Dinge musst du dazu wissen, sonst sind die Zahlen irreführend:
Erstens ist das ein Bestwert. tg128 erzeugt 128 Token aus kurzem Kontext. Mit einer langen Unterhaltung und gefülltem Cache fällt die Rate deutlich ab.
Zweitens ist die Quantisierung Q4_0, weil die Community darauf misst. Q4_K_M, das du in der Praxis nutzt, liegt etwas darunter.
Nimm die Zahlen als Größenordnung, nicht als Versprechen.
Bei größeren Modellen wird es entsprechend langsamer – für Qwen3.8-27B in einer hochwertigen 6-Bit-Quantisierung berichtet ein Nutzer rund 100 t/s auf einer RTX 5090.
Was heißt das im Alltag?
Lesen kannst du etwa vier bis fünf Wörter pro Sekunde. Alles über 20 Token pro Sekunde fühlt sich an, als käme der Text sofort. Über 30 t/s merkst du im Chat keinen Unterschied mehr.
Anders liegt es bei Agenten, die im Hintergrund tausende Token erzeugen, ohne dass jemand mitliest. Dort zählt jeder Punkt.
Und der eGPU-Abzug? Es gibt keinen – solange das Modell in den VRAM passt. Die Karte rechnet extern genauso schnell wie intern.
Kaufempfehlung: VRAM zuerst
Vergiss beim Kartenkauf für lokale KI alles, was du über Bildraten weißt. Die Reihenfolge lautet: erst genug Speicher, dann Tempo.
16 GB als vernünftiger Einstieg — RTX 5060 Ti
Die RTX 5060 Ti mit 16 GB (ab 479€) ist für lokale Sprachmodelle die vernünftigste Karte im Angebot. 16 GB nehmen jedes 14B-Modell mit Puffer und ein 27B-Modell in 4 Bit mit knappem Kontext.
Sie ist nicht schnell. Für Textausgabe ist das egal – du liest ohnehin langsamer, als sie schreibt.
Mehr Tempo bei gleichem Speicher — RTX 5070 Ti
Die RTX 5070 Ti (ab 1.179€) bringt ebenfalls 16 GB, rechnet aber deutlich flotter. Lohnt sich, wenn du Agenten laufen lässt oder viel mit langen Dokumenten arbeitest.
Die Falle: RTX 5070 mit 12 GB
Die RTX 5070 (ab 797€) ist schneller als die 5060 Ti, hat aber nur 12 GB. Für Spiele die bessere Karte, für lokale KI die schlechtere.
Passt dein Modell nicht in 12 GB, hilft dir kein Rechenwerk der Welt – dann lagert es aus, und dann bricht alles ein. Nimm die 16-GB-Karte.
Oberklasse — RTX 5080
Die RTX 5080 (ab 1.469€) hat ebenfalls 16 GB. Sie ist die schnellste 16-GB-Option, kostet aber ein Vielfaches der 5060 Ti bei identischem Speicher. Für reine Textarbeit schwer zu rechtfertigen; sinnvoll, wenn dieselbe Karte auch spielen soll. Plane 650 W Netzteil ein – Details im Netzteil-Guide.
Wenn 32 GB sein müssen — RTX 5090
Die RTX 5090 (ab 4.149€) hat mit 32 GB den größten Speicher unter den Consumer-Karten. Damit laufen 32B-Modelle mit großem Kontext bequem.
Für ein 70B-Modell mit rund 40 GB reicht auch das nicht. Und 575 W wollen aus dem Gehäuse gekühlt sein – für viele eGPU-Aufbauten ist die Karte schlicht zu viel.
Mehr Speicher gibt es nur in der Profi-Klasse: RTX 5000 Ada mit 32 GB, RTX 6000 Ada mit 48 GB. Beide zu Preisen, bei denen sich die Frage nach der Cloud neu stellt.
AMD als Alternative
Die RX 9070 XT (ab 759€) rechnet unter ROCm statt CUDA. Ollama kommt damit klar, vLLM ab ROCm 6.3 ebenfalls. Bei kleineren Werkzeugen aus dem Ökosystem prüfst du besser vorher, ob AMD unterstützt wird – CUDA bleibt der Pfad, auf dem alles zuerst funktioniert.
Die andere Richtung: Mini-PC mit Unified Memory
Es gibt einen Weg, der ohne eGPU auskommt und bei großen Modellen die Nase vorn hat.
Mini-PCs mit AMD-APUs teilen den Arbeitsspeicher zwischen Prozessor und Grafikeinheit. Bestückst du so eine Kiste mit 128 GB, stehen davon große Teile als Grafikspeicher zur Verfügung – genug für ein 70B-Modell, an dem jede Consumer-Grafikkarte scheitert.
Der Haken: Die Speicherbandbreite liegt weit unter dem, was eine dedizierte Karte bietet. Bei großen Modellen landest du im Bereich von 5 bis 15 Token pro Sekunde. Das ist langsamer als Lesegeschwindigkeit, aber es läuft überhaupt – und ohne Auslagerung.
Wann sich das lohnt: Wenn du regelmäßig mit Modellen jenseits von 32B arbeitest und Geduld hast. Willst du Tempo bei mittleren Modellen, ist die eGPU klar im Vorteil.
Passende Geräte findest du unter Mini-PCs – achte auf Modelle, die 96 oder 128 GB unterstützen.
Wenn es klemmt
“CUDA out of memory”
Das Modell passt nicht. Drei Wege heraus, in dieser Reihenfolge:
- Stärker quantisierte Fassung nehmen (Q4 statt Q8)
- Kontextlänge reduzieren – oft der eigentliche Übeltäter
- Eine Modellgröße kleiner wählen
Das Modell rechnet auf der CPU
ollama ps zeigt einen CPU-Anteil statt 100% GPU. Prüfe zuerst, ob die Karte überhaupt gefunden wird:
nvidia-smiFehlt sie dort, ist es kein KI-Problem, sondern ein eGPU-Problem – Dock, Kabel oder Treiber. Erscheint sie, aber Ollama nutzt sie trotzdem nicht, ist das Modell zu groß für den freien Speicher.
Alles läuft, aber zäh
Läuft das Modell vollständig auf der GPU und ist trotzdem langsam, ist es meist schlicht zu groß für die Karte. Ein 32B-Modell auf 16 GB läuft nur mit Auslagerung, und Auslagerung kostet ein Vielfaches.
Zweiter häufiger Grund: ein sehr langer Kontext. Der Cache wächst mit jeder Runde der Unterhaltung. Ein Neustart des Gesprächs bringt das Tempo zurück.
Kurz gefasst
Für lokale Sprachmodelle ist eine eGPU eine bessere Idee, als die meisten denken – gerade weil die Schwäche externer Karten hier nicht greift. Die Verbindung bremst nicht, sie verzögert nur das Laden.
Was zählt, ist der Speicher auf der Karte. 16 GB sind der Punkt, an dem lokale KI aufhört, ein Bastelprojekt zu sein. Alles darunter zwingt dich zu Kompromissen bei der Modellwahl, alles darüber kostet überproportional.
Und die Software: Fang mit Ollama an. vLLM ist ein Werkzeug für Parallellast, kein schnelleres Ollama.