KI-Hardware: welche Karte ein Betrieb wirklich braucht

Welche Hardware ein Betrieb braucht: die kurze Antwort

Die Reihenfolge ist immer dieselbe: erst die Fälle, dann die Modellgröße, dann die Karte. Wer mit der Karte anfängt, kauft zu groß oder zu klein, und beides fällt erst im Betrieb auf. Der Grafikspeicher setzt die harte Grenze: Was nicht hineinpasst, läuft gar nicht oder langsam über den Hauptspeicher.

Zwei Posten füllen diesen Speicher. Die Modellgewichte belegen ihn dauerhaft, ob jemand fragt oder nicht. Der Zwischenspeicher für den Kontext kommt je Sitzung dazu und wächst mit der Unterhaltung. Deshalb entscheidet nicht die Nutzerzahl über die Karte, sondern die Kontextlänge, die Sie zulassen.

KI-Hardware ist der Sammelbegriff für die Rechner und Karten, auf denen ein Sprachmodell im eigenen Unternehmen läuft statt in der Cloud eines Anbieters. Der Markt benutzt dafür mehrere Wörter, die nicht dasselbe meinen. Ein KI-Rechner oder KI-PC ist meist ein fertiger Arbeitsplatzrechner mit einer Spielkarte darin, eine KI-Workstation dieselbe Bauform mit Profikarte, ECC-Speicher und Herstellergarantie. Wer nach einer GPU für KI sucht, bekommt die Karte allein, ohne Gehäuse, Netzteil und Kühlung. Unter lokale KI-Hardware fassen Anbieter alles zusammen, vom Ministecker bis zum Serverschrank.

Der Fall in den Eckdaten, ein Armaturenhersteller mit einer Plattform im eigenen Netz, ist genau nach dieser Reihenfolge entstanden. Wir rechnen vor dem Kauf aus, welche Modellgröße die Fälle brauchen, und leiten die Karte daraus ab. Gekauft wird beim Händler Ihrer Wahl: Wir stellen Arbeitszeit in Rechnung und verdienen an der Hardware nichts. Wie ein System auf dieser Karte aussieht, steht unter lokale KI im eigenen Netz.

Wie viel Grafikspeicher welche Modellgröße braucht

Die Rechnung ist eine Multiplikation. Parameterzahl in Milliarden mal Bytes je Parameter ergibt den Speicher für die Gewichte in Gigabyte. In FP16 sind es 2 Byte je Parameter, bei 8-Bit-Quantisierung rund 1 Byte, bei 4 Bit rund 0,5 Byte. Ein Modell mit 70 Milliarden Parametern belegt damit rund 140 GB in FP16 und rund 35 GB in 4 Bit.

In der Praxis liegt der Wert für 4 Bit höher, meist zwischen 40 und 48 GB. Gemischte Quantisierungsverfahren lösen einzelne Schichten höher auf, dazu kommen Metadaten. Diese Praxisangabe stammt aus einer Händlerquelle und ist der schwächste Beleg in dieser Rechnung. Die Größenordnung deckt sich mit der reinen Multiplikation.

Quantisierung ist der Hebel mit dem größten Ausschlag: Der Schritt von FP16 auf 4 Bit viertelt den Speicherbedarf. Was er an Antwortqualität kostet, beziffert keine der geprüften Quellen. Das prüfen Sie an den eigenen Fällen, nicht an einer Rangliste.

Was Sie für diese Rechnung wissen müssen

• Die Parameterzahl. Sie steht im Namen des Modells, etwa 8B, 30B oder 70B.
• Die Quantisierung. FP16, 8 Bit oder 4 Bit, also 2 Byte, rund 1 Byte oder rund 0,5 Byte je Parameter.
• Die Bauart. Bei Modellen mit getrennten Fachbereichen, im Fachwort Mixture of Experts, liegt die aktive Parameterzahl weit unter der Gesamtzahl, und die Rechnung gilt nicht ohne Anpassung.

Warum die Kontextlänge über die Karte entscheidet

Neben den Gewichten hält die Karte für jede laufende Unterhaltung einen Zwischenspeicher, im Fachwort KV-Cache. Er wächst mit jedem Token. Für ein Modell mit 70 Milliarden Parametern und Grouped-Query-Attention sind es rund 0,33 MB je Token: rund 0,67 GB bei 2.048 Token, rund 2,6 GB bei 8.000 Token und rund 42 GB erst bei 128.000 Token. Bei den Kontextlängen, die im Betrieb üblich sind, ist dieser Posten ein Nebenposten.

Diese Zahl ist wichtig, weil eine falsche kursiert. Ein nicht begutachteter Vorabdruck (arXiv 2511.17593, abgerufen im September 2026) nennt für dieselbe Rechnung rund 140 GB je Anfrage, und dieselbe Zahl zirkuliert in der Ratgeberliteratur. Sie liegt um mehr als das Zweihundertfache über dem gerechneten Wert und entspricht fast genau dem Speicher der Modellgewichte in FP16: Offenbar wurden beide Posten verwechselt. Wer so plant, kauft eine Größenordnung zu viel.

Die Formel ist kurz. Zweimal die Zahl der Schichten mal die Zahl der KV-Köpfe mal die Kopfdimension mal die Bytes je Wert ergibt die Bytes je Token, für das genannte Modell 2 mal 80 mal 8 mal 128 mal 2, also 327.680 Byte. Alle Gigabyte in diesem Text sind dezimal gerechnet, eine Milliarde Byte. Die Architekturwerte stehen in der Konfigurationsdatei jedes Modells. Entscheidend ist die Zahl der KV-Köpfe: Ältere Bauarten ohne Grouped-Query-Attention haben hier 64 statt 8 und brauchen den achtfachen Zwischenspeicher.

Wie viele Nutzer eine Karte trägt

Die ehrliche Antwort zuerst: Eine belastbare Zahl gibt es nicht. Keine der geprüften Quellen trägt Antwortzeit gegen Nutzerzahl für eine bestimmte Karte auf. Was sich rechnen lässt, ist die obere Schranke aus dem Speicher, und sie liegt höher als das, was die Karte praktisch trägt.

Die Schranke lautet: Grafikspeicher minus Gewichte minus Aufschlag, geteilt durch den Zwischenspeicher je Sitzung. Eine Karte mit 48 GB, ein Modell mit 70 Milliarden Parametern in 4 Bit, 2 GB Aufschlag und 2.000 Token Kontext ergeben rund neun gleichzeitige Sitzungen, gerechnet mit dem Praxiswert von 40 GB für die Gewichte. Mit der reinen Multiplikation von 35 GB wären es rund sechzehn. Welcher Wert gilt, hängt am Quantisierungsverfahren. Für ein Modell anderer Bauart ist die Rechnung neu aufzustellen, weil der Zwischenspeicher je Sitzung an Schichtzahl, KV-Köpfen und Kopfdimension hängt.

Eine gleichzeitige Sitzung ist nicht ein Mitarbeiter. Wie viele von hundert Leuten in derselben Sekunde eine Anfrage stellen, klärt keine Quelle. Das ist eine Annahme, die jeder Betrieb selbst setzt und in der Planung benennt. Die Karte steht dabei im eigenen Netz, und diese Sitzungszahlen sind Kapazitätsgrößen, keine Auswertung einzelner Personen.

Die neun Sitzungen oben sind eine Speichergrenze. Die folgenden Zahlen betreffen eine zweite Grenze: ab wann die Serversoftware selbst nicht mehr mitwächst, auch wenn noch Speicher frei ist. Im Betrieb gilt immer die kleinere von beiden. Ollama arbeitet Anfragen im Wesentlichen der Reihe nach ab und flacht ab etwa fünf bis acht gleichzeitigen Nutzern ab. vLLM fasst laufende Anfragen fortlaufend zu Stapeln zusammen und sättigt erst bei 100 bis 150 gleichzeitigen Anfragen. Diese Messungen stammen aus dem Zeitraum August 2025 bis August 2026, beide Programme entwickeln sich schnell, und die genannten Vorsprünge reichen vom 2,3-fachen bis zum 29-fachen. Belastbar ist die Richtung, nicht der Faktor.

Drei Annahmen, die vor der Rechnung stehen

• Wie lang der Kontext sein darf. Von 8.000 auf 2.000 Token begrenzt, vervierfacht sich die Zahl der möglichen Sitzungen.
• Wie viele gleichzeitig fragen. Nicht die Kopfzahl im Unternehmen zählt, sondern der Anteil, der in derselben Sekunde tippt.
• Welche Antwortzeit noch als schnell gilt. Lange bevor der Speicher voll ist, bricht die Antwortzeit ein, weil sich die Rechenleistung auf alle Sitzungen verteilt.

Was eine gebrauchte Karte kostet und was sie taugt

Einen Marktpreis für gebrauchte Rechenzentrumskarten gibt es nicht, nur eine breite Spanne. Für eine A100 mit 40 GB nennen die Quellen 2.000 bis 12.000 US-Dollar, für dieselbe Karte. Bei der Variante mit 80 GB nennen unabhängige Marktplätze 4.000 bis 9.000 US-Dollar, der Blog eines Händlers 8.000 bis 12.000.

Die Spanne folgt einem Muster: Die höchsten Angaben stammen von Händlern, die genau diese Karten verkaufen, die niedrigsten von Marktplätzen und Vermietern. Ein dritter Wert von 18.900 US-Dollar ließ sich in keiner unabhängigen Quelle bestätigen. Wir lassen den Widerspruch stehen, statt einen Mittelwert daraus zu machen.

Dazu kommt der Zeitfaktor. Eine Marktauswertung des Branchendienstes Hashrate Index vom Juli 2026 erwartet für 2026 einen weiteren Preisrückgang von 10 bis 15 %, weil die nächste Kartengeneration nachrückt. Jede Punktangabe veraltet binnen Monaten, auch die in diesem Text.

Karten aus dem Dauerbetrieb eines Rechenzentrums tragen ein anderes Verschleißrisiko als Karten aus Spielerechnern, gemessen hat das niemand mit offengelegter Stichprobe. Als Warnzeichen gelten nach einer Händlerquelle Sammelangebote mehrerer identischer Spitzenkarten ohne Einzelhandelsverpackung und Preise rund 40 % unter dem Durchschnitt.

Was Sie vor einem Gebrauchtkauf klären

• Formfaktor und Kühlung. Rechenzentrumskarten sind oft passiv gekühlt und brauchen den Luftstrom eines Servergehäuses.
• Garantie und Rückgabe. Zertifiziert generalüberholte Karten liegen am oberen Rand der Spanne.
• Herkunft. Ein Sammelangebot ohne Einzelhandelsverpackung ist kein Fund, sondern eine Frage.
• Wer die Zahl nennt. Bei jeder Preisangabe zählt, ob die Quelle die Karte selbst verkauft.

Kurz beantwortet

Vier Fragen, die in Gesprächen mit Geschäftsführung und IT-Leitung regelmäßig kommen.

Welche Hardware braucht man für KI im eigenen Unternehmen?

Die Karte folgt aus der Modellgröße, nicht umgekehrt. Für Modelle bis etwa 30 Milliarden Parameter in 4-Bit-Quantisierung reicht eine Karte mit 24 GB, für 70 Milliarden Parameter braucht es rund 40 bis 48 GB allein für die Gewichte. Wer den Bedarf nicht vorher ausrechnet, kauft nach Datenblatt statt nach Fall.

Reicht ein KI-PC, oder muss es ein Server sein?

Ein einzelner Rechner unter dem Schreibtisch trägt einen Versuch, nicht den Betrieb. Sobald mehrere Menschen gleichzeitig fragen, entscheidet die Software davor mit: Ollama flacht nach Messungen aus den Jahren 2025 und 2026 ab etwa fünf bis acht gleichzeitigen Nutzern ab, vLLM erst bei 100 bis 150 Anfragen. Für den Dauerbetrieb gehört die Karte in eine Maschine, die überwacht und gekühlt wird.

Was kostet eine KI-Workstation für den Einstieg?

Belastbare Europreise für die Klasse 24 bis 96 GB nennt keine der geprüften Quellen. Alle vorliegenden Angaben sind Dollarwerte von Wiederverkäufern oder Vergleichsblogs, ohne Mehrwertsteuer und Einfuhr. Wer eine Zahl braucht, holt zwei Angebote bei deutschen Händlern ein und hält sie gegen die Speicherrechnung oben.

Lohnt sich ein Server mit acht Karten?

Für einen Betrieb mit einigen Dutzend Nutzern ist das die falsche Klasse. Ein gebrauchter Server mit acht H100 kostet nach Schätzungen von Wiederverkäufern 150.000 bis 180.000 US-Dollar, ein neuer 250.000 bis 320.000, ein neuer mit acht Karten der aktuellen Generation 550.000 bis 650.000. Das ist das Fünfzig- bis Zweihundertfache einer Einzelkarte aus der oben genannten Spanne.

Die Rechnung gemeinsam aufstellen →