KI-Modelle im Vergleich: fünf Kriterien statt Rangliste

Warum eine Rangliste die falsche Frage beantwortet

Eine Rangliste sortiert Modelle nach einer Zahl, die niemand bei Ihnen je gemessen hat. Die Frage, welches KI-Modell zu einem Betrieb passt, hängt an dessen Aufgaben: an den Angeboten, den Protokollen, den Rechnungen, die jemand gegenprüft. Keine davon steht in einer Rangliste.

Der zweite Grund ist die Haltbarkeit. GPT-6 Astra erschien am 3. September 2026; eine drei Wochen alte Rangliste kennt es nicht. Umgekehrt führen Vergleichsseiten Modelle weiter, die es nicht mehr gibt. OpenAI hat am 29. Januar 2026 die Abschaltung von GPT-4o und aller mini- und nano-Varianten zum 13. Februar 2026 angekündigt; Microsoft vermerkte sie für seine eigene Fassung erst am 29. Juni 2026, derselbe Modellname mit zwei Zeitplänen. Am 21. Juni 2026 nannte eine große Vergleichsseite GPT-4o mini weiterhin die günstigste Option.

Daraus folgt eine Regel: Die Modellliste holen Sie beim Anbieter, nicht auf einer Vergleichsseite. Und wer im Vergleich zweier Anbieter nur auf den Preis je Million Token sieht, hat noch kein KI-Modell ausgewählt.

Die fünf Kriterien: Kosten, Datenort, Sprache, Kontext, Lizenz

Fünf Kriterien entscheiden, und keines davon ist ein Benchmarkwert. Wer sie durchgeht, hat nach einem halben Tag zwei bis drei Kandidaten statt einer Liste von Namen. Datenort und Lizenz schließen aus, Kosten und Kontext sortieren den Rest.

Zwei der fünf sind öffentlich schlecht belegt, und das gehört gesagt. Zur Leistung an deutschsprachigen Aufgaben liegt uns kein belastbarer Messwert vor; der deutsche Test SuperGLEBer wies beim Abruf keine aktuellen Modellwerte aus, und die EU-Kommission hat am 22. Juli 2026 mit dem EU-MMLU einen europäischen Test vorgestellt, Ergebnisse daraus sind uns nicht bekannt. Und zum Unterschied zwischen genannter und tatsächlich nutzbarer Kontextlänge fanden wir keine Quelle. Prüfen lässt sich beides nur am eigenen Dokument.

Was ein Preis je Million Token tatsächlich enthält

Ein Preis je Million Token ist keine einzelne Zahl. Die Preisseite eines großen Anbieters führt je Modell mehrere Werte: Standard-Input, gecachter Input, das Schreiben in den Cache und Output, teils getrennt für kurzen und langen Kontext. Wer zwei Modelle an einer Zahl vergleicht, vergleicht nichts.

GPT-6 Astra ist dabei der am besten belegte Fall. Für den Standardtarif bei kurzem Kontext nennen die Preisseite des Anbieters und vier unabhängige Übersichten dieselben drei Werte: 10 US-Dollar je Million Input-Token, 50 je Million Output-Token und 1 bei gecachtem Input. Die Kontextlänge beträgt 1,05 Millionen Token, das Modell erschien am 3. September 2026.

Zwischen Standard-Input und gecachtem Input liegt hier der Faktor zehn, also 90 Prozent Ersparnis ab der zweiten Nutzung desselben Anfangsstücks; für gpt-5.6-terra nennen dieselben Quellen denselben Faktor. Der größte Kostenhebel ist damit nicht die Modellwahl, sondern ein stabiler Systemprompt, den viele Vorgänge teilen. Das Schreiben in den Cache kostet mehr als Standard-Input, die Ersparnis tritt also erst ab dem zweiten Aufruf ein. Was die Rechnung nicht zeigt: Gecachte Inhalte liegen eine Weile beim Anbieter. Wie lange, gehört in den Auftragsverarbeitungsvertrag und nicht nur in die Kostenrechnung.

Zwei weitere Hebel nennt die Preisseite, beide mit Vorbehalt. Batch- und Flex-Verarbeitung senken die Standardpreise um die Hälfte, der Fast-Modus verdoppelt sie; zu Wartezeit, Verfügbarkeit und Modellabdeckung sagt die Quelle nichts. Oberhalb der Schwelle für langen Kontext greift die zweite Spaltengruppe: bei gpt-5.6-terra der doppelte Satz. Wer Handbücher am Stück einliest, rechnet mit dem doppelten Preis.

Zugekaufte Modelle gegen frei verfügbare

Die Trennlinie verläuft nicht zwischen gut und schlecht, sondern zwischen zwei Vertragslagen. Ein zugekauftes Modell erreichen Sie über die Schnittstelle des Anbieters, Sie zahlen je Token und die Gewichte bleiben dort. Ein frei verfügbares Modell betreiben Sie selbst, dann zahlen Sie Hardware, Strom und Arbeitszeit, dazu eine Inferenzsoftware und eine Karte, deren Größe sich nach der Modellgröße richtet. Wir rechnen vor dem Kauf aus, welche Modellgröße die Fälle brauchen, und leiten die Karte daraus ab. Was das kostet, steht unter was der Betrieb im eigenen Unternehmen kostet, wie ein solcher Aufbau aussieht unter lokale KI im eigenen Netz.

Für personenbezogene Daten hängt an dieser Trennung eine harte Bedingung. Bei ChatGPT gibt es einen Auftragsverarbeitungsvertrag nach Artikel 28 DSGVO nur für Team, Enterprise und die Schnittstelle, nicht für die kostenlose Version und Plus (Stand Mai 2026). Ohne diesen Vertrag dürfen personenbezogene Firmen- und Kundendaten dort nicht hinein. Für eine anonyme Formulierungshilfe ohne Personenbezug gilt das nicht. Der Tarifaufbau anderer Anbieter ähnelt dem, ist aber im Einzelfall zu prüfen.

Zwei Pflichten hängen nicht am Modell. Artikel 4 der KI-Verordnung verlangt seit dem 2. Februar 2025 Maßnahmen für die KI-Kompetenz der Leute, die damit arbeiten: die KI-Schulungspflicht erfüllen. Was Sie insgesamt belegen müssen, steht unter was Sie bei KI nachweisen müssen. Dieser Text ersetzt keine Rechtsberatung.

Beim Datenort führt die übliche Verkürzung in die Irre: Dass der Server in Frankfurt steht, sagt nichts über Protokolle, Metadaten und Sicherungen. Eine Zusage trägt erst, wenn sie alle fünf Stellen nennt; Anbieterdokumentationen, die das ausdrücklich tun, haben wir nicht gefunden, und Microsoft benennt für seine EU-Datengrenze sogar ausdrücklich Ausnahmen. Beim selbst betriebenen Modell ist der Datenort der eigene Serverraum, und bei besonders schutzbedürftigen Unterlagen lässt sich der Verbund ganz von außen trennen, sodass keine Anfrage das Unternehmen verlässt.

Bei den frei verfügbaren Modellen entscheidet die Lizenz, nicht das Wort quelloffen. Apache 2.0 und MIT erlauben kommerzielle Nutzung und Änderung ohne Schwelle bei der Nutzerzahl. Unter Apache 2.0 stehen die beiden gpt-oss-Modelle von OpenAI aus dem August 2025 und mehrere Qwen-Modelle von Alibaba, nicht zwingend jede Größe der Reihe; unter MIT steht DeepSeek R1 aus dem Januar 2025. Llama 4 Scout steht unter der Llama Community License, also nicht unter einer klassischen Open-Source-Lizenz.

Fünf Stellen, die der Datenort umfasst

• Der Inhalt der Anfrage, also das, was Ihre Leute eintippen und anhängen.
• Der Rechenvorgang selbst, an dem das Modell die Antwort erzeugt.
• Die Protokolle, in denen Anfragen und Antworten landen.
• Die Metadaten, also Zeitstempel, Nutzerkennung und Modellname. Werden sie je Mitarbeiter protokolliert, ist das eine technische Einrichtung nach § 87 Abs. 1 Nr. 6 BetrVG und vor dem Piloten zu klären, nicht danach: was der Betriebsrat bei KI mitbestimmt.
• Die Sicherungen, die von all dem gezogen werden.

Was Benchmarks messen und was nicht

Benchmarkwerte gehören in einen Vergleich, aber nur mit Quelle und Datum und nie als Entscheidungsgrundlage. Der bekannteste Test ist gesättigt: Spitzenmodelle liegen nach mehreren Auswertungen vom Juli 2026 bei 92 bis 93 Prozent auf MMLU, gegenüber rund 44 Prozent für das beste Modell bei Einführung des Tests im Jahr 2020. Die Werte liegen so dicht beieinander, dass sie die Modelle nicht mehr trennen. Für HumanEval und GSM8K gilt dasselbe.

Dazu kommt die Verunreinigung der Testdaten. Hat ein Modell eine Testfrage oder eine nahe Variante im Training gesehen, erzielt es einen guten Wert ohne die Fähigkeit dahinter. Der Zusammenhang ist als Dosis-Wirkung nachgewiesen, veröffentlicht auf der NAACL 2024 und der NeurIPS 2025; die Verfahren, die solche Verunreinigung aufspüren, sind selbst unvollständig.

Der zweite bekannte Vergleich, die Arena, misst etwas anderes: blinde, paarweise Nutzerpräferenz als Elo-Wert. Ein hoher Rang sagt, dass Menschen die Antwort lieber mochten, nicht dass sie stimmt.

Zwei Punkte aus einer Auswertung vom Juli 2026 runden das ab. Werte, die ein Hersteller zum Start selbst veröffentlicht, gelten als Angebotsangabe, bis sie jemand unabhängig nachrechnet. Zusammengesetzte Punktzahlen taugen nicht für Vergleiche über die Zeit, weil ein Versionswechsel die Reihe bricht.

Wie ein Betrieb in einer Woche selbst vergleicht

Fünf Arbeitstage genügen, und der Aufwand liegt fast ganz in den ersten beiden. Das ist unsere Empfehlung, keine Messung aus einer Studie: Uns ist kein öffentlicher Test bekannt, der betriebliche Aufgaben auf Deutsch prüft.

Der Kern ist ein Testsatz aus zwanzig echten Aufgaben mit der jeweils richtigen Antwort daneben. Zwanzig sind wenig genug für einen Vormittag und genug, dass ein Unterschied sichtbar wird. Ohne die hinterlegte richtige Antwort bewertet am Ende die Person, die gerade liest.

Kommen die Antworten aus eigenen Unterlagen, prüfen Sie damit das Modell und die Suche davor zugleich. Wie so ein Aufbau arbeitet, steht unter wie ein RAG-System funktioniert. Ein schwaches Ergebnis liegt dort häufiger an den Unterlagen als am Modell.

Fünf Tage

• Tag 1, Aufgaben sammeln. Zwanzig Vorgänge, die bei Ihnen wirklich anfallen: ein Angebot, ein Protokoll, die Prüfung einer Rechnung.
• Tag 2, Kandidaten festlegen. Zwei zugekaufte und ein frei verfügbares Modell, ausgewählt nach Datenort und Lizenz statt nach Rang. Die Modellliste holen Sie beim Anbieter und notieren das Datum.
• Tag 3, Durchlauf. Dieselben zwanzig Aufgaben an alle drei, mit demselben Systemprompt und denselben Einstellungen.
• Tag 4, bewerten. Zwei Personen aus der Fachabteilung, getrennt voneinander, richtig oder falsch. Eine falsche Antwort, die richtig klingt, zählt doppelt.
• Tag 5, rechnen. Token zählen und die Kosten je Vorgang ausrechnen. Die Zahl für die Geschäftsführung ist dieser Betrag mal die Vorgänge im Monat, nicht der Preis je Million Token.

Was herauskommt, ist keine Rangliste, sondern eine Entscheidung mit Datum. Sie ist an einem Tag wiederholt, wenn sich Aufgaben, Preise oder Modelle ändern.