Stand: Juni 2026
Wer seine Mitarbeiter mit lokalen KI-Anwendungen entlasten möchte, stellt schnell die Frage nach den Hardwarekosten: Lohnt sich die Anschaffung eigener Technik, oder ist ein Cloud-GPU-Server die bessere Wahl? Beide Varianten haben ihre Vor- und Nachteile.
In diesem Beitrag gebe ich einen Überblick über die Hardware-Kosten, die mit den ersten Schritten zu eigenen KI-Anwendungen verbunden sind.
HINWEIS – Netto-Preise ohne MwSt.!!:
Alle hier recherchierten Preise verstehen sich als Nettopreise, zzgl. gesetzlicher Mehrwertsteuer. Da sich dieser Vergleich ausschließlich an Geschäftskunden richtet, ist die MwSt. nicht berücksichtigt. Die Preise basieren auf aktuellen Angaben auf den Homepages der Anbieter (Stand: Juni 2026) und sind daher nur eine Momentaufnahme. Alle Angaben ohne Gewähr! Für konkrete Angebote fragen Sie bitte beim jeweiligen Anbieter nach.
Variante A: KI-Eigenbetrieb im Büro oder Serverraum
Sie wollen vertrauliche Firmendaten oder sensible Kundendaten verarbeiten und müssen daher die volle Kontrolle behalten? Dann brauchen Sie auf KI nicht zu verzichten. Sie müssen „nur“ dafür sorgen, dass die Daten den eigenen Hoheitsbereich nicht verlassen!
Einstieg: 16 GB Grafikspeicher für MoE-Modelle
Dazu können Sie ein eigenes KI-System im eigenen Serverraum oder sogar im eigenen Büro betreiben. Der Einstieg in KI-Anwendungen ist mit handelsüblichen PCs mit Consumer Grafikkarten ab 16 GB Grafikspeicher (VRAM) möglich.
Damit können quantisierte „Mixture-of-Experts“ (MoE) Versionen von Sprachmodellen (LLMs) mit bis zu 35 Milliarden Parametern (z.B. Gemma-4-26B-A4B oder Qwen3.6-35B-A3B) genutzt werden.
Mittelklasse: 32 GB für Fine-Tuning
Wer freie KI-Modelle („Open Weights“) an seine eigenen Daten anpassen will braucht mehr Grafikspeicher. Um sich an das sogenannte „Fine-Tuning“ zu wagen, sollte das System mit mindestens 32 GB VRAM ausstattet werden.
Der Trick, der das ermöglicht, ist, nicht alle sondern nur einen Teil der Parameter anzupassen. Die entsprechenden Methoden heißen LoRA und QLoRA. Mit 32 GB ist ein LoRA-Fine-Tuning bis zu einer Modellgröße von 13B möglich, QLoRA bis etwa 30B.
Alternate: Low Budget Einstieg mit RTX 5080 ab 1.800 €
Neben dem Grafikspeicher ist auch ausreichend Arbeitsspeicher für die CPU erforderlich. Hier wird meist ein Faktor von 2 bis 4 angesetzt. D.h., ein System mit 16 GB VRAM sollte man mit mindestens 32 GB System RAM ausstatten. Bei Alternate kann man sich einen entsprechenden PC mit Consumer-Hardware mit NVIDIA RTX 5080 (16 GB VRAM), 32 GB RAM sowie 2 TB SSD ab etwa 1.800 € zusammenstellen.
Mehr Speicher ermöglicht größere Modelle, macht das System aber deutlich teurer. Da die RTX 4090 mit 24 GB VRAM kaum noch erhältlich ist (evtl. gebraucht), ist die nächst größere NVIDIA GPU die RTX 5090 mit 32 GB VRAM. Ein entsprechendes Beispiel-System schlägt mit 7.100 € zu buche (bei 96 GB RAM und 2x 4 TB SSD).
AMD holt auf: Radeon AI PRO R9700
NVIDIA hat aufgrund seiner Programmierschnittstelle CUDA einen großen Vorteil gegenüber der Konkurrenz. Doch immer mehr Software unterstützt auch andere Grafikchips. Daher wird als Alternative zu NVIDIA-GPUs auch AMD immer interessanter. Die Radeon AI Pro R9700 bietet ebenfalls 32 GB VRAM, ist aber deutlich günstiger. MIFCOM bietet hier Systeme bereits ab unter 5.000 €.
Server-Hardware für den Dauerbetrieb
Für Server-Hardware muss man deutlich tiefer in die Tasche greifen. Der Vorteil gegenüber Consumer-Komponenten ist jedoch, dass sie auf Langlebigkeit im Dauerbetrieb ausgelegt sind. Hier muss man etwa 14.000 € kalkulieren (ASUS-Board + NVIDIA RTX PRO 4500 Blackwell mit 32 GB VRAM, 128 GB RAM, 2x 4 TB SSD).
Die folgende Tabelle zeigt die Details für die Beispiel-Angebote (Stand: Juni/Juli 2026):
| Anbieter | Produkt-Details | Kosten (Netto) |
|---|---|---|
| Alternate | Low Budget-System mit NVIDIA RTX 5080 (16 GB VRAM), AMD Ryzen 5 4500 (6 Cores), 32 GB DDR4-3200 RAM, 2TB SSD | 1.718,49 € |
| Alternate | NVIDIA RTX 5090 (32 GB VRAM), Intel® Core™ i9-14900K (24 Cores), 96 GB DDR5 RAM, 2x 4TB SSD | 7.081,68 € |
| MIFCOM | AMD Radeon AI PRO R9700 (32 GB VRAM), AMD Razen 7 9700X (8 Cores), 96 GB DDR5 RAM, 2x4TB SSD | 4.830,25 € |
| primeLine Solutions | PNY NVIDIA RTX PRO 4500 Blackwell (32 GB VRAM), AMD EPYC Turin 9115 Prozessor (16 Cores), 128 GB DDR5 RAM, 2x 4 TB NVMe SSD | 14.059,70 € |
Aufgrund der Vielzahl der Kombinationsmöglichkeiten sowie die Bandbreite der Preise gibt es nicht das eine perfekte KI-Hardware-System. Welche Komponenten wirklich notwendig sind, hängt u.a. von der geplanten Software, der Anzahl der Benutzer und der Intensität der Nutzung ab.
Dieser Artikel soll daher nur einen ersten Überblick über das Preisgefüge für KI-Hardware geben. Für konkrete Projekte ist jeweils eine auf die gewünschten Anwendungsfälle zugeschnittene Recherche erforderlich.
Möchten Sie herausfinden, wie Sie Ihre Mitarbeiter mit KI entlasten können, und ob lokale KI-Systeme dafür die richtige Wahl sind? Sichern Sie Sich einen Termin für ein kostenloses Strategiegespräch:
Fine-Tuning großer Modelle braucht VIEL Grafikspeicher
Um größere Modelle mit eigenen Daten zu trainieren, ist deutlich mehr Grafikspeicher notwendig. Hier kommen z.B. Systeme mit mehreren NVIDIA Blackwell-Karten oder NVIDIA H200 zum Einsatz. Ein System mit 96 GB VRAM kostet über 25.000 €. Mit 2 H200-Karten kommt man auf 282 GB VRAM, und das Gesamtsystem kostet über 80.000 €. Hier zwei Beispiel-Systeme von primeLine Solutions:
| Anbieter | Produkt-Details | Kosten (Netto) |
|---|---|---|
| primeLine Solutions | PNY NVIDIA RTX PRO 6000 Blackwell Max-Q Grafikkarte (96 GB VRAM), AMD EPYC Turin 9115 Prozessor (16 Cores), 256 GB RAM, 2x 4 TB NVMe SSD | 25.589,20 € |
| primeLine Solutions | 2x NVIDIA H200 (zusammen 282 GB VRAM), NVIDIA NVLink, AMD EPYC Turin 9115 Prozessor (16 Cores), 512 GB RAM, NVLink, 2x 3.84 TB NVMe SSD | 80.588,10 € |
Die teuersten Komponenten dieser Systeme sind die Grafikkarten sowie der RAM. Eine RTX 6000 (96 GB VRAM) schlägt mit 10.833,60 € zu Buche. Zwei H200 Karten (282 GB VRAM) kosten zusammen 51.301,00 €. Für 512 GB RAM zahlt man über 18.000 € (Stand 19.06.2026).
Variante B: Cloud-GPU-Server
Nicht alle Daten sind so vertraulich oder sensibel, dass sie ausschließlich intern verarbeitet werden dürfen. In solchen Fällen könnten Hosting-Provider eine Alternative darstellen, sofern man ihnen die Einhaltung der zugesicherten Datenschutz- und Compliance-Anforderungen zutraut.
Im Folgenden habe ich einige Angebote herausgesucht (ohne Anspruch auf Vollständigkeit), um einen groben Überblick über die Kostenstrukturen zu geben.
Angebote zwischen 16 und 48 GB VRAM
Die folgenden Angebote zeigen Systeme mit Grafikspeicher zwischen 16 und 48 GB und liegen damit in ähnlicher Größenordnung wie die oben gezeigten Einstiegs-Systeme mit 16 bis 32 GB.
| Anbieter | Produkt-Details | Kosten (Netto) |
|---|---|---|
| Keyweb | „KI-Machine S“ Nvidia RTX 5070 TI (16 GB VRAM), Intel Core Ultra 9, 256 GB DDR5, 2×1 TB NVMe SSD | 234,62 € / Monat bei 24 Monaten Laufzeit + eimalig 293,28 € Einrichtungsgebühr |
| Keyweb | „KI-Machine M“ Nvidia Tesla L4 (24 GB VRAM), AMD EPYC™ 9254 48 x max 4.15 GHz, 512 GB DDR5, 2×1.92 TB NVMe SSD | 396,64 € / Monat bei 24 Monaten Laufzeit + eimalig 495,80 € Einrichtungsgebühr |
| IONOS | Nvidia A10 GPU (24 GB VRAM), AMD EPYC™ 7313P, 128 GB DDR4 RAM, 960 GB NVMe SSD (2 x 960 GB), Hardware RAID 1 | 570,60 € / Monat 0,7925 €/Stunde |
| Hetzner | „GEX44“ Nvidia RTX™ 4000 SFF Ada Generation (20 GB VRAM), Intel® Core™ i5-13500, 64 GB DDR4 RAM, 2 x 1.92 TB NVMe SSD | 234,00 € / Monat + einmalig 114,00 € für Setup oder 0,3750 € / Stunde |
| Hetzner | „GEX131“ NVIDIA RTX™ 6000 Ada (48 GB VRAM), Intel® Xeon® Gold 5412U, 256 DDR5 RAM, 2 x 960 TB NVMe SSD | 1199.00 € / Monat oder 1.9215 € / Stunde |
| centron | Nvidia RTX A4000 (16 GB VRAM) | 92,59 € / Monat, 0.0,13 € / Stunde |
| centron | Nvidia Quadro RTX 6000 (24 GB VRAM) | 170.83 € / Monat, 0.24 € / Stunde |
| centron | Nvidia A100 (40 GB VRAM) | 489,47 € / Monat, 0,679 € / Stunde |
| partimus | Nvidia RTX PRO 5000 (48 GB VRAM) | 900 € / Monat |
Systeme ab 80 GB VRAM
Viele der Cloud-GPU-Anbieter bewerben auch Systeme mit 80 GB VRAM und mehr, mit denen auch das Training und Fine-Tuning großer Modelle möglich ist. Häufig erfährt man die Preise jedoch nur auf Anfrage.
| Anbieter | Produkt-Details | Kosten (Netto) |
|---|---|---|
| Keyweb | „KI-Machine Custom“ bis zu 8 x Nvidia RTX Pro 6000 Blackwell je 96 GB VRAM (zusammen bis zu 768 GB VRAM) | auf Anfrage |
| IONOS | Cloud GPU VM 1 bis 8 H200 GPUs (Pay-as-you-go) | 1 GPU: 3 € / Stunde 2 GPUs: 6 € / Stunde 4 GPUs: 12 € / Std. 8 GPUs: 24 € / Std. |
| IONOS | NVIDIA® RTX PRO 6000 (96 GB VRAM) | 1000,00 € / Monat 1,3889 € / Stunde |
| centron | Nvidia A100 (80GB VRAM) | 894,73 € / Monat 1,243 € / Stunde |
| partimus | 8x Nvidia H200 (1128 GB VRAM) | 18.400,00 € / Monat 25,56 € / Stunde |
Kostenvergleich: Cloud vs. Büro/Serverraum
Aufgrund der Vielzahl an Konfigurationen und Varianten gestaltet sich ein fairer Vergleich schwierig. Es muss daher im Einzelfall anhand der konkreten Anforderungen eines Projekts geprüft werden, welches Angebot besser abschneidet. Daher will ich hier nur ein Beispiel exemplarisch durchrechnen.
Wir nehmen hier an, dass die festen Anschaffungskosten über einen Zeitraum von 24 Monaten abgeschrieben werden, um sie mit den Monatspreisen der Cloud-Anbieter zu vergleichen.
Monatliche Kosten: Beispielrechnungen
Auf 24 Monate gerechnet ergeben die 7.081,68 € Anschaffungskosten eine monatliche Summe von 295,07 €. Dazu kommen die Stromkosten, die wir exemplarisch mit 50 € / Monat ansetzen. Pauschal rechnen wir noch 20 € / Monat für den Platz im Büro oder im Serverraum und 50 € Wartungskosten dazu. Mit diesen Annahmen kommen wir auf 415,07 € / Monat. Mit ähnlichen Annahmen kommen wir für die Server-Hardware (primeLine, RTX PRO 4500) auf 705,82 €.
| System / Anbieter | VRAM | Kosten (Netto) / Monat |
|---|---|---|
| RTX 5080 + Consumer-Hardware / Alternate, selbst gehostet | 16 GB | 72 + 50 + 20 + 50 = 192 € |
| RTX 5090 + Consumer-Hardware / Alternate, selbst gehostet | 32 GB | 295 + 50 + 20 + 50 = 415 € |
| Radeon AI PRO / MIFCOM | 32 GB | 202 + 50 + 20 + 50 = 322 € |
| RTX PRO 4500 Blackwell + Server-Hardware / primeLine, selbst gehostet | 32 GB | 586 + 50 + 20 + 50 = 706 € |
| Nvidia RTX A4000 / centron | 16 GB | 92,59 € |
| Quadro RTX 6000 / centron | 24 GB | 170.83 € |
| „KI-Machine S“ Nvidia RTX 5070 TI | 16 GB | 234,62 € |
| Nvidia Tesla L4 / Keyweb | 24 GB | 396,64 € |
| Nvidia A100 / centron | 40 GB | 489,47 € |
Bei den Schätzungen für selbst gehostete Systeme sind viele Annahmen enthalten (Stromverbrauch, Stromkosten, Wartung, Raummiete), die im konkreten Fall auch deutlich günstiger oder teurer ausfallen könnten. Ziel ist es, die Spannbreite aufzuzeigen. Durch den Vergleich kommt man zum Ergebnis, dass die Kosten von Selbst-Hosting und Cloud-Hosting in ähnlichen Größenordnungen liegen.
Der wesentliche Unterschied zwischen Selbst-Hosting und Cloud ist also nicht der Preis, sondern der Datenschutz.
Fazit
Wer besonders sensible und vertrauliche Daten verarbeiten möchte, hostet die Systeme selbst und behält somit die volle Hoheit über die Daten. Für weniger sensible Daten oder auch für kürzere Projekte oder Experimente haben die Cloud-GPU-Angebote den Vorteil, dass man sie auch monatsweise oder gar stundenweise buchen kann, und somit Kosten spart.
Egal ob selbst gehostet oder in der Cloud – die Hardware-Kosten für eigene KI-Anwendungen sind trotz der jüngsten Preisanstiege noch überschaubar und somit auch für kleine und mittelständische Unternehmen kein Hindernis beim Einstieg in die KI-Nutzung.
Sie brauchen Orientierung für Ihre nächsten Schritte mit KI? Sprechen Sie mich an: