KI-Server für den Mittelstand: was er kostet und wann der Kauf zu früh kommt

Was ein KI-Server ist, und wo die Grenze zur Workstation liegt

Ein KI-Server ist eine Maschine, die auf Beschleunigerkarten ausgelegt ist: auf ihre Bauhöhe, ihre Stromaufnahme und ihre Abwärme. Beschleunigerkarten heißen im Handel meist Grafikkarten oder GPUs. Die Rechenarbeit macht nicht die CPU, sondern die Karte. Die CPU verteilt nur.

Eine verbindliche Definition gibt es nicht: Dieselbe Ware heißt beim einen Händler KI-Server, beim nächsten GPU-Server, beim dritten KI-Rechner. Die Abgrenzung hier ist deshalb eine Setzung.

Wir setzen sie so: Ein KI-Server läuft im Rack, nimmt mehrere doppelbreite Karten auf, ist auf ihren Strom und ihre Abwärme ausgelegt und über Fernwartung erreichbar. Eine Workstation steht neben dem Schreibtisch und nimmt ein bis zwei Karten. Wer statt einer Cloud die eigene Maschine wählt, tut das für die Kontrolle über die eigenen Daten: Was darauf entsteht, ist lokale KI im eigenen Netz.

Nach oben endet die Klasse, um die es im Mittelstand geht, bei 96 GB Speicher je Karte: die NVIDIA RTX PRO 6000 Blackwell, im Rack als Server Edition mit GDDR7 und Fehlerkorrektur, im Handel bepreist als Workstation Edition derselben Karte. Die NVIDIA H200 mit 141 GB HBM3e liegt darüber, nicht darin: Sie ist Rechenzentrumsklasse. Wo die Klasse nach unten anfängt, sagt keine geprüfte Quelle.

Was ein KI-Server kostet, und warum jede Zahl ein Tagespreis ist

Es gibt keinen Listenpreis. Wer einen KI-Server kaufen will, findet auf den Produktseiten der Hersteller selten eine Zahl. Alles Folgende stammt von Händlern oder aus dem Preisvergleich, und das sind Tagespreise. Jede dieser Zahlen braucht Variante, Datum, Währung und die Angabe netto oder brutto.

Eine einzelne Karte mit 96 GB, die RTX PRO 6000 Blackwell in der Workstation Edition, lag am 5. September 2026 im deutschen Handel zwischen rund 14.500 und 16.800 Euro. Die Quellen sind ein Preisvergleich für Endkunden und Händlerseiten, und keine davon weist durchgängig aus, ob die Zahl netto oder brutto gilt. Die Spanne ist kein Rabattspielraum: Auf derselben Vergleichsseite laufen Retail, Bulk und Max-Q unter einem Namen. Den Listenpreis hat NVIDIA am 13. August 2026 erneut angehoben, nach einem Bericht von ComputerBase auf umgerechnet rund 16.000 US-Dollar. Für die Server Edition liegt kein öffentlicher Einzelpreis vor.

Der lehrreichste Vergleich steht in der dritten Zeile der Tabelle. Das ASUS-Modell ESC8000A-E13 wird dort als Barebone geführt, also ohne eine einzige Karte. Eine einzige Karte kostet ungefähr so viel wie dieses ganze Gehäuse, und Platz ist darin für acht.

Für ein fertiges System mit acht H100- oder H200-Beschleunigern nennen drei unabhängige Sekundärquellen aus dem Zeitraum März bis August 2026 rund 200.000 bis 400.000 US-Dollar, mit einem Schwerpunkt bei 250.000 bis 320.000 US-Dollar. Alle drei sind Blogs oder Anbieterseiten, keine Preislisten. Dagegen führen deutsche Händler vergleichbare Systeme im niedrigen sechsstelligen Bereich, ohne Konfiguration und Supportstufe zu dokumentieren. Wir lösen diesen Widerspruch nicht auf, sondern nennen ihn. Holen Sie deshalb mindestens zwei Angebote mit identischer Bestückung ein, bevor Sie eine der beiden Zahlen übernehmen.

Eine grobe Staffel nach Kartenzahl nennt ein Beratungsanbieter im Juli 2026: eine Karte führt in die Workstation-Klasse im unteren fünfstelligen Bereich, zwei bis vier Karten bis in den niedrigen sechsstelligen Bereich. Das ist eine einzige Quelle mit Eigeninteresse und ohne Stückpreise.

Kaufen, mieten oder die vorhandene Maschine aufrüsten

Fest steht die Reihenfolge: erst die Fälle, dann die Modellgröße, dann die Karte, dann das Gehäuse. Welche Karte welche Modellgröße trägt, steht unter welche Hardware lokale KI braucht. Ob sich der eigene Betrieb gegen die Miete rechnet, steht unter was der Betrieb im eigenen Unternehmen kostet.

Die Kostenfrage entscheidet dieser Text nicht. Mietpreise je Beschleunigerstunde sind Tagespreise wie die Kaufpreise, zum Leasing nennt ein Händler nur, dass er es anbietet, und die Kosten des Aufrüstens hängen an der vorhandenen Maschine. Die Gegenrechnung über Nutzerzahlen steht im Kostenbeitrag; hier bleibt die technische Machbarkeit, und die lässt sich vorab klären.

Vier Fragen, bevor eine Karte in eine vorhandene Maschine wandert

• Bauhöhe. Doppelbreite Karten belegen zwei Steckplätze. Wie viele Plätze sind wirklich frei, und passt die Karte in der Länge?
• Anschlussleistung. Eine einzelne Karte dieser Klasse kann 600 W ziehen. Trägt das Netzteil das zusätzlich zu CPU, Arbeitsspeicher, Platten und Lüftern?
• CPU-Generation. Beim Lenovo ThinkSystem SR675 V3 gelten die 600 W je Steckplatz nur mit CPUs der EPYC-9005-Reihe. Solche Kopplungen stehen im technischen Handbuch, nicht im Angebot.
• Abwärme. Eine Achtkartenmaschine bringt mehrere Kilowatt in einen Raum, der bisher wenige hundert Watt abführen musste. Eine Frage an die Gebäudetechnik.

Wie viele Nutzer ein Server trägt

Auch das sagt keine Preisliste. Keine geprüfte Quelle nennt Token je Sekunde, Stapelgrößen oder gleichzeitige Nutzer für eine bestimmte Bestückung. Wer eine Nutzerzahl nennt, ohne Modell, Kontextlänge und noch zumutbare Antwortzeit dazuzusagen, rät.

Rechnen lässt sich die obere Schranke, und die kommt aus dem Speicher. Der Platz für die Gewichte ergibt sich aus der Parameterzahl in Milliarden mal den Bytes je Parameter: 2 Byte bei FP16, rund 1 Byte bei 8 Bit, rund 0,5 Byte bei 4 Bit. Ein Modell mit 70 Milliarden Parametern in 4 Bit belegt damit rund 35 GB, dazu kommt je Sitzung der Kontextspeicher. Die Formeln stehen im Hardwarebeitrag.

Zwei Einschränkungen gehören dazu. Die Speicherschranke ist keine Tempogrenze: Lange bevor der Speicher voll ist, wird die Antwortzeit lang, weil sich die Rechenleistung auf alle offenen Sitzungen verteilt. Und eine gleichzeitige Sitzung ist nicht ein Mitarbeiter; wie viele von hundert Leuten in derselben Sekunde fragen, klärt keine Quelle.

Die Modellgröße ist außerdem ein Ergebnis des Aufbaus davor. Ein System, das die passenden Stellen aus den eigenen Unterlagen sucht und dem Modell vorlegt, kommt mit einem kleineren Modell aus, dazu wie ein RAG-System funktioniert. Bei einem Armaturenhersteller läuft eine solche Plattform seit Dezember 2025 im eigenen Netz, nachzulesen unter technische Unterlagen durchsuchbar machen. Dieselbe Anschaffung fällt danach oft eine Klasse kleiner aus.

Was Strom und Kühlung im Jahr kosten

Belegt sind allein die Wattzahlen der Karten. Alles danach ist Arithmetik mit Annahmen, und die Annahmen stehen hier offen. Die Rechnung gilt zudem allein für die Kartenlast eines fertigen Servers; die Herleitung je Modellgröße steht im Nachbartext zur Hardware, der oben verlinkt ist.

Die Eingangsgrößen sind belegt. Acht doppelbreite Karten zu je 600 W im Lenovo ThinkSystem SR675 V3 ergeben 4,8 kW; die Werte für die beiden Bestückungen des Dell PowerEdge XE9680 stehen in der Tabelle. Das ist jeweils nur die Kartenlast.

Für den Arbeitspreis nehmen wir dieselbe Quelle wie im Hardwaretext: Eurostat weist für Deutschland im Verbrauchsband IA für das zweite Halbjahr 2025 32,58 Cent je Kilowattstunde ohne Mehrwertsteuer und ohne erstattungsfähige Abgaben aus, Datensatz nrg_pc_205, Datenstand 12. August 2026. Ein Vorbehalt gehört dazu: Band IA gilt unterhalb von 20 Megawattstunden im Jahr, und eine Achtkartenmaschine überschreitet das allein. Maßgeblich ist das Band des ganzen Standorts.

Für die Kühlung gibt es keine allgemeingültige Zahl: Der Aufschlag hängt am Gebäude, und ein kleiner Serverraum mit Klimagerät liegt weit über einem Rechenzentrum. Wer die Stromseite vollständig rechnen will, erhebt diesen Faktor für sein Gebäude selbst.

Drei Gründe, die Tabelle nicht als Betriebskosten zu lesen

• Volllast gibt es nicht. Ein Server für Inferenz läuft nie 8.760 Stunden an der Spitze. Bei einem Drittel Auslastung bleiben von den 13.700 Euro gut 4.500 Euro. Der Auslastungsgrad ist eine Annahme, keine Messung.
• Kartenlast ist nicht Anschlussleistung. CPUs, Arbeitsspeicher, Lüfter und Netzteilverluste kommen obendrauf. Deshalb sehen Hersteller für solche Maschinen Netzteile im Bereich mehrerer Kilowatt vor.
• Die Wattzahl selbst ist strittig. NVIDIA nennt für die Server Edition der RTX PRO 6000 Blackwell 400 bis 600 W und bezeichnet sie als konfigurierbar, TechPowerUp und Hardwareluxx nennen 600 W fix. Solange das offen ist, rechnen wir mit 600 W, also mit der oberen Zahl.

Wann sich der eigene Server nicht lohnt

In drei Fällen ist der Kauf der falsche erste Schritt. Alle drei erkennt man vor dem Angebot und nicht danach, und keiner davon hat mit dem Preis zu tun.

Umgekehrt gibt es gute Gründe für die Rackbauform, auch bei ein oder zwei Karten: Einbau in ein vorhandenes Rechenzentrum, Fernwartung, redundante Netzteile, Mehrnutzerbetrieb, Herstellersupport. Die verbreitete Empfehlung, bei so wenigen Karten grundsätzlich keinen Rack-Server zu kaufen, stützt sich auf keinen Preisvergleich.

Unsere Reihenfolge ist deshalb umgekehrt zur üblichen. Wir rechnen vor dem Kauf aus, welche Modellgröße die Fälle eines Unternehmens brauchen, und leiten die Karte daraus ab. Gekauft wird beim Händler Ihrer Wahl. Das System, das danach auf der Maschine läuft, bauen und betreiben wir.

Drei Fälle, in denen der Kauf zu früh kommt

• Die Fälle stehen nicht fest. Wer nicht sagen kann, welche zwanzig Fragen das System beantworten soll, kann die Modellgröße nicht bestimmen. Ohne Modellgröße ist jede Karte geraten, und das ist bei diesen Preisen ein teurer Irrtum.
• Ein Versuch würde reichen. Für eine Abteilung und ein kleineres Modell tut es oft die vorhandene Maschine oder eine einzelne Karte. Die Achtkartenklasse ist die Antwort auf viele gleichzeitige Nutzer, nicht auf den ersten Anwendungsfall.
• Der Raum trägt es nicht. Anschlussleistung, Abwärme und Lärm einer Achtkartenmaschine passen nicht in einen Schrank im Büroflur. Diese Prüfung kostet nichts und kommt oft zu spät.

Was Sie als Nächstes tun

Die ersten beiden der vier Schritte kosten nichts außer Zeit. Wenn Sie unsicher sind, welche Klasse Ihr Unternehmen braucht, gehen Sie sie mit uns durch.

Vier Schritte vor dem ersten Angebot

• Fälle sammeln. Zwanzig Fragen aufschreiben, die das System im Unternehmen beantworten soll, mit dem Dokument, in dem die Antwort steht.
• Modellgröße bestimmen. Aus den Fällen ergibt sich die Modellgröße, daraus der Speicherbedarf, daraus die Karte. Nicht umgekehrt.
• Raum prüfen. Anschlussleistung, Abwärme, Lärm und Zugang klären Gebäudetechnik und IT gemeinsam, bevor ein Angebot eingeholt wird.
• Angebote vergleichbar machen. Jedes Angebot mit Variante, Bestückung, Datum, Währung und der Angabe netto oder brutto. Ohne diese fünf Felder vergleichen Sie verschiedene Dinge.

Die Fälle gemeinsam durchgehen →