Welche KI-Modelle lokal laufen und für Firmen taugen

Welche Modelle es gibt und worin sie sich unterscheiden

Sieben Familien tauchen in praktisch jeder Übersicht auf: gpt-oss von OpenAI, DeepSeek, Qwen von Alibaba, Llama von Meta, Gemma von Google, Mistral aus Frankreich und Phi von Microsoft. Was ein Betrieb über sie wissen muss, steht nicht in einer Rangliste, sondern in der Modellkarte des Herstellers: Lizenz, Parameterzahl, Kontextlänge und Bauart. Diese Angaben stehen mit der Veröffentlichung fest.

Die Bauart trennt dichte Modelle von Modellen mit Fachabteilungen. Ein dichtes Modell rechnet bei jedem Token mit allen seinen Parametern, und ein Token ist etwa ein Wortteil. Ein Mixture-of-Experts-Modell hält viele Parameter vor und aktiviert je Token nur einen kleinen Teil. Die Modellkarte von gpt-oss-120b nennt 117 Milliarden Parameter insgesamt, davon 5,1 Milliarden aktiv je Token, verteilt auf 128 Fachabteilungen, von denen vier rechnen.

Die Kontextlänge sagt, wie viel Text ein Modell auf einmal überblickt, und sie geht weit auseinander: Phi-4 nennt 16.384 Token, Llama 4 Scout 10 Millionen. Für Antworten aus vorgelegten Unterlagen entscheidet diese Angabe über den Zuschnitt des Systems.

Was die Lizenz erlaubt und was das Kürzel verschweigt

Die Lizenz ist die einzige Modelleigenschaft, die nicht veraltet. Sie steht bei der Veröffentlichung fest und gilt weiter, wenn die Ranglisten dreimal gewechselt haben. Deshalb prüfen wir sie zuerst.

Sechs der sieben Familien führen im Lizenzfeld ihrer Modellkarte eine der beiden gängigen offenen Lizenzen. Apache 2.0 steht bei gpt-oss, Gemma 4, Mistral Large 3 und Small 4 sowie Qwen3.8-27B, MIT bei DeepSeek V4-Pro und V4-Flash und bei Phi-4. Beide erlauben kommerzielle Nutzung, Änderung und Weitergabe, ohne eine Schwelle bei der Nutzerzahl zu ziehen. Llama ist die Ausnahme: Die Modellkarte von Llama 4 Scout nennt die Llama 4 Community License Agreement, eine Herstellerlizenz mit Auflagen.

Das Kürzel gilt je Modell, nicht je Familie. In der Generation Qwen3.8 steht das Modell mit 27 Milliarden Parametern unter Apache 2.0, das größte Modell derselben Generation unter einer eigenen Lizenz des Herstellers. Wer einmal für die Familie prüft und danach ein anderes Modell einsetzt, hat für dieses nichts geprüft.

Unter dem Stichwort lokale KI Open Source laufen zwei Dinge zusammen, die auseinandergehören: frei herunterladbare Modelldateien und eine Lizenz, unter der eine Firma das Modell betreiben, ändern und weitergeben darf. Die Freigabe deckt die Modellgewichte, nicht die Trainingsdaten. Wer ein Modell aus einem anderen ableitet, trägt für den Basisanteil dessen Lizenz weiter.

Für eine Auskunft darüber, was Ihr Unternehmen mit einem Modell tun darf, reicht das Kürzel nicht. Den Lizenztext liest man einmal ganz, und dieser Text ersetzt keine Rechtsberatung.

Welche Modellgröße reicht und was sie an Speicher kostet

Die Größe wählt man nach der Aufgabe, nicht nach der Rangliste. Für Zusammenfassungen und für Antworten aus vorgelegten Dokumenten reicht regelmäßig ein kleineres Modell als für freies Formulieren, weil die Antwort dann aus dem vorgelegten Text kommt und nicht aus dem Gedächtnis des Modells. Wie dieser Aufbau arbeitet, steht in wie ein RAG-System funktioniert.

Was eine Größenklasse an Arbeitsspeicher kostet, lässt sich ausrechnen. Die Dokumentation von Hugging Face nennt die Regel: rund 2 Gigabyte je Milliarde Parameter bei 16 Bit, das Doppelte bei 32 Bit. Quantisierung senkt das weiter. Dieselbe Dokumentation misst für ein Modell mit gut 15 Milliarden Parametern 29 Gigabyte bei 16 Bit, 15,2 Gigabyte bei 8 Bit und 9,5 Gigabyte bei 4 Bit.

Für ein Modell mit acht Milliarden Parametern heißt das rund 16 Gigabyte bei 16 Bit, rund 8 bei 8 Bit und rund 5 bei 4 Bit. Das sind die Gewichte allein.

Der Kontext kostet eigenen Speicher, und er kostet ihn je gleichzeitigem Nutzer. Dieselbe Dokumentation rechnet für dasselbe Modell bei 16.000 Token Kontext rund 15 Gigabyte, also etwa die Hälfte dessen, was die Gewichte belegen. Modelle, die ihre Abfrageköpfe zusammenfassen, kommen bei derselben Länge auf unter 400 Megabyte. Die Spanne hängt an der Bauart.

Bei Modellen mit Fachabteilungen zählt für den Speicher die Gesamtzahl, nicht die aktive. Die Hugging-Face-Dokumentation zu Mixture-of-Experts sagt es klar: Alle Parameter müssen im Arbeitsspeicher liegen, gerechnet wird je Token nur mit einem Teil. Ein Modell mit 117 Milliarden Parametern und 5,1 Milliarden aktiven braucht Speicher für 117 Milliarden. Die Geschwindigkeit richtet sich nach der kleinen Zahl, die Maschine nach der großen.

Was eine solche Maschine kostet, steht in welche Hardware lokale KI braucht. Wir rechnen vor dem Kauf aus, welche Modellgröße die tatsächlichen Fälle brauchen, und leiten die Karte daraus ab. Die umgekehrte Reihenfolge ist der teuerste Weg zum selben Ergebnis.

Wie gut offene Modelle gegen ChatGPT und Claude abschneiden

Welches Modell am besten passt, hängt vom Fall ab. Eine belastbare Rangfolge unter den offenen Modellen können wir Ihnen nicht nennen. Zwei unabhängige Quellen begründen gleichlautend, warum es sie nicht gibt: Ranglisten veralten binnen weniger Wochen, und Prozentwerte aus verschiedenen Quellen sind mangels einheitlicher Testumgebung nur als Größenordnung lesbar. Beide empfehlen eine eigene Auswertung an den Aufgaben des Unternehmens.

Was unter dem Stichwort lokale KI-Modelle Vergleich im Netz steht, sind fast immer solche Prozentwerte. Wir haben die Ranglistenzahlen aus zwölf Übersichten einzeln gegengeprüft. Keine hat gehalten, die Gründe stehen zugeklappt am Ende dieses Textes. Was hält, sind die Angaben der Modellkarten, und die enthalten keine Rangfolge.

Für Deutsch gibt es eine belegte Messung, aber nicht die, die ein Betrieb braucht. SuperGLEBer, geführt vom Lehrstuhl für Data Science der Universität Würzburg, versammelt 29 deutschsprachige Aufgaben aus Dokumentklassifikation, Sequenzmarkierung, Dokumenteinbettung und Fragebeantwortung, ausgewertet an zehn auf Deutsch vortrainierten Modellen. Das ist eine ernsthafte Grundlage für deutsches Sprachverständnis. Eine Rangfolge der sieben Familien an Ihren eigenen Unterlagen ist es nicht.

Diese Messung gibt es nur im eigenen Unternehmen. Die Skizze stellt beides nebeneinander: links das Ranglistenblatt, das in vier Wochen überholt ist, rechts das eigene Prüfblatt. Aufgabe für Aufgabe steht das unter ob ein lokales Sprachmodell so gut ist wie ChatGPT, die Kriterien für zugekaufte Modelle unter worauf ein Betrieb beim Modellvergleich achtet.

Was eine eigene Abnahme braucht

• Dreißig echte Fragen. Aus Innendienst, Service und Verwaltung, so gestellt, wie sie wirklich gestellt werden.
• Je eine richtige Antwort. Von jemandem aufgeschrieben, der sie beurteilen kann, samt Dokument, in dem sie steht.
• Dieselbe Umgebung für alle Kandidaten. Gleiche Anweisung, gleiche Vorlagen, gleiche Länge. Sonst misst man die Umgebung.
• Ein Urteil mit mehr als richtig und falsch. Erfunden, unvollständig und unbrauchbar formuliert sind verschiedene Fehler mit verschiedenen Ursachen.
• Ein zweiter Durchlauf nach jedem Wechsel. Derselbe Satz Fragen, sobald Modell, Anweisung oder Bestand sich ändern.

Was ein Modellwechsel kostet

Ein Modell zu tauschen ist technisch eine Kleinigkeit und betrieblich keine. Die Datei ist in einer Stunde ausgetauscht, was daran hängt, ist die Arbeit von Tagen.

Am Modell hängen die Systemanweisungen, die Ausgabeformate, der Speicherbedarf und damit unter Umständen die Karte. Und es hängt die Abnahme daran, die nach jedem Wechsel erneut laufen muss.

Deshalb ist die richtige Frage vor dem Aufbau nicht, welches Modell heute vorn liegt, sondern wie teuer der nächste Wechsel wird. Wer so baut, dass das Modell ein austauschbares Teil ist, kann jeder neuen Rangliste gelassen zusehen.

Wann ein zugekauftes Modell die bessere Wahl ist

Nicht jede Aufgabe gehört ins eigene Netz. Der Eigenbetrieb lohnt sich, wenn die Unterlagen das Unternehmen nicht verlassen dürfen, wenn dieselben Fragen dauerhaft in großer Zahl anfallen oder wenn die Abhängigkeit von einem Anbieter das Risiko ist. Fehlt alles drei, ist ein zugekaufter Dienst der kürzere Weg.

Der ehrlichste Grund dagegen ist der laufende Aufwand. Modellwechsel, Updates und Betrieb stehen in keiner Modellkarte. Wer sie nicht einplant, plant den Eigenbetrieb zu billig.

Vier Fälle, in denen wir abraten

• Es gibt niemanden, der das System betreut. Ein Modell im eigenen Netz braucht eine benannte Person.
• Die Unterlagen sind ungepflegt. Dann liegt die Aufgabe in der Ablage und nicht bei der Modellauswahl.
• Es geht um zehn Dokumente und drei Nutzer. Dafür lohnt keine Maschine.
• Die Anforderung erfüllt kein Sprachmodell. Vollständige Listen und exakte Summen kommen aus einer Abfrage.

Die dreißig Fragen gemeinsam durchgehen →