Inhouse-AI

Wer eigene KI-Anwendungen betreiben möchte, steht schnell vor der Frage: Lohnt sich die Anschaffung eigener Hardware oder ist ein Cloud-GPU-Server die bessere Wahl? Beide Varianten haben ihre Vor- und Nachteile.

In diesem Beitrag gebe ich einen Überblick über die Hardware-Kosten, die mit den ersten Schritten zu eigenen KI-Anwendungen verbunden sind.

HINWEIS – Netto-Preise ohne MwSt.!!:
Alle hier recherchierten Preise verstehen sich als Nettopreise, zzgl. gesetzlicher Mehrwertsteuer. Da sich dieser Vergleich ausschließlich an Geschäftskunden richtet, ist die MwSt. nicht berücksichtigt. Die Preise basieren auf aktuellen Angaben auf den Homepages der Anbieter (Stand: 17.10.2025) und sind daher nur eine Momentaufnahme. Alle Angaben ohne Gewähr! Für konkrete Angebote fragen Sie bitte beim jeweiligen Anbieter nach.

Variante A: KI im eigenen Büro oder Serverraum

Sie wollen vertrauliche Firmendaten oder sensible Kundendaten verarbeiten und müssen daher die volle Kontrolle behalten? Dann müssen Sie auf KI nicht verzichten. Sie müssen „nur“ dafür sorgen, dass die Daten den eigenen Hoheitsbereich nicht verlassen!

Einstieg mit 32 GB Grafikspeicher

Dazu können KI-Systeme z.B. im eigenen Serverraum oder sogar im eigenen Büro betrieben werden. Der Einstieg in eigene KI-Anwendungen ist mit handelsüblichen PCs mit High-End Consumer Grafikkarten mit 32 GB Grafikspeicher (VRAM) möglich. Damit können quantisierte Versionen von Sprachmodellen (LLMs) mit bis zu 32 Milliarden Parametern (32B) genutzt werden. Sogar ans Fine-Tuning mit eigenen Daten kann man sich damit wagen (LoRA bis zu 13B, QLoRA bis zu 30B).

Alternate: PC mit RTX 5090 ab 4.600 €

Einen PC mit NVIDIA RTX 5090 bekommt man bei Alternate ab etwa 4.600 € (Netto!!). Für Server-Hardware muss man etwa 9.200 € kalkulieren (ASUS-Board + NVIDIA RTX PRO 4500 Blackwell Grafikkarte). Hier zwei Beispiel-Angebote (Stand: 14.10.2025):

Abhängig von der gewünschten Konfiguration können sich andere Preise ergeben.

Fine-Tuning großer Modelle braucht VIEL Grafikspeicher

Um größere Modelle mit eigenen Daten zu trainieren, ist deutlich mehr Grafikspeicher notwendig. Hier kommen z.B. Systeme mit mehreren NVIDIA Blackwell-Karten oder NVIDIA H200 zum Einsatz. Ein System mit 96 GB VRAM kostet über 12.000 €. Mit 2 H200-Karten kommt man auf 282 GB VRAM, und das Gesamtsystem kostet über 65.000 €. Hier zwei Beispiel-Systeme von primeLine Solutions:

Die teuersten Komponenten dieser Systeme sind die Grafikkarten. Eine RTX 6000 (96 GB VRAM) schlägt mit 7.095,60 € zu Buche. Zwei H200 Karten (282 GB VRAM) kosten zusammen 53.084,80 €.

Variante B: Cloud-GPU-Server

Nicht alle Daten sind so vertraulich oder sensibel, dass sie ausschließlich intern verarbeitet werden dürfen. In solchen Fällen könnten Hosting-Provider eine Alternative darstellen, sofern man ihnen die Einhaltung der zugesicherten Datenschutz- und Compliance-Anforderungen zutraut.

Im Folgenden habe ich einige Angebote herausgesucht (ohne Anspruch auf Vollständigkeit), um einen groben Überblick über die Kostenstrukturen zu geben.

Angebote zwischen 20 und 48 GB VRAM

Die folgenden Angebote zeigen Systeme mit Grafikspeicher zwischen 20 und 48 GB und liegen damit in ähnlicher Größenordnung wie die oben gezeigten Systeme mit 32 GB .

Systeme ab 80 GB VRAM

Viele der Cloud-GPU-Anbieter bewerben auch Systeme mit 80 GB VRAM und mehr, mit denen auch das Training und Fine-Tuning großer Modelle möglich ist. Häufig erfährt man die Preise jedoch nur auf Anfrage.

Kostenvergleich: Cloud vs. selbst gehostet

Aufgrund der Vielzahl an Konfigurationen und Varianten gestaltet sich ein fairer Vergleich schwierig. Es muss daher im Einzelfall anhand der konkreten Anforderungen eines Projekts geprüft werden, welches Angebot besser abschneidet. Daher will ich hier nur ein Beispiel exemplarisch durchrechnen.

Wir nehmen hier an, dass die festen Anschaffungskosten über einen Zeitraum von 24 Monaten abgeschrieben werden, um sie mit den Monatspreisen der Cloud-Anbieter zu vergleichen.

Monatliche Kosten für NVIDIA RTX 5090-System

Auf 24 Monate gerechnet ergeben die 4.598,65 € Anschaffungskosten eine monatliche Summe von 191,61 €. Dazu kommen die Stromkosten, die wir exemplarisch mit 50 € / Monat ansetzen. Pauschal rechnen wir noch 20 € / Monat für den Platz im Büro oder im Serverraum und 50 € Wartungskosten dazu. Mit diesen Annahmen kommen wir auf 311,61 € / Monat. Mit ähnlichen Annahmen kommen wir

Die Kosten liegen in ähnlichen Größenordnungen, wobei die selbst gehosteten, etwas günstiger erscheinen.

Fazit

Wer besonders sensible und vertrauliche Daten verarbeiten möchte, hostet die Systeme selbst und behält somit die volle Hoheit über die Daten. Für weniger sensible Daten oder auch für kürzere Projekte oder Experimente haben die Cloud-GPU-Angebote den Vorteil, dass man sie auch monatsweise oder gar stundenweise buchen kann, und somit Kosten spart.

Egal ob selbst gehostet oder in der Cloud – die Hardware-Kosten für eigene KI-Anwendungen sind überschaubar und somit auch für kleine und mittelständische Unternehmen kein Hindernis beim Einstieg in die KI-Nutzung.