Lokales LLM statt ChatGPT: wo es reicht und wo nicht
Für die Suche in den eigenen Unterlagen, Zusammenfassungen und die Prüfung eines Dokuments gegen feste Vorgaben reicht ein Modell im eigenen Unternehmen. Beim Programmieren und bei sehr langen Vorlagen liegt es hinter ChatGPT und Claude. Wie weit, sagt keine der geprüften Quellen belastbar: Die Zahlen, mit denen im Netz verglichen wird, stammen von Modellen, die auf keiner Arbeitsplatz-Hardware laufen. Dieser Text trennt das Belegte vom Behaupteten und zeigt, wie Sie den Unterschied in einer Woche an Ihren eigenen Fällen prüfen.
- Kurzform
- Für Suche in eigenen Unterlagen, Zusammenfassung und Prüfung gegen Vorgaben reicht ein Modell im Unternehmen. Für Programmierung und sehr langen Kontext nicht
- Geprüft
- Von zehn Behauptungen aus Fachpresse und Auswahlratgebern haben zwei gehalten, acht sind gestrichen
- Belegte Richtung
- Auf dem offiziellen SWE-bench-Leaderboard ist die Spitze durchgehend zugekauft besetzt, abgerufen am 5. September 2026
- Nicht bestimmbar
- Der Abstand in Punkten. Für dieselbe Spitze nennen die Quellen Werte zwischen 88,6 und 97,0 Prozent, ohne ihre Testumgebung offenzulegen; der höchste steht auf keinem unabhängigen Leaderboard
- Größte Fehlerquelle
- Die zitierten Vergleichsmodelle führen 230 bis 397 Milliarden Parameter und laufen auf keiner Arbeitsplatz-Hardware
- Belegter Fall
- Armaturenhersteller, Plattform im eigenen Netz, in Betrieb seit Dezember 2025, Antworten mit Fundstelle
- Stand
- September 2026
Für welche Aufgaben ein Modell im Unternehmen reicht und für welche nicht
Die Antwort hängt an der Aufgabe und nicht am Modellnamen. Fünf Arbeiten kommen in technischen Betrieben immer wieder vor: die Suche in eigenen Unterlagen, das Zusammenfassen, die Prüfung gegen feste Vorgaben, das freie Formulieren und das Programmieren. Für die ersten drei reicht ein Modell im eigenen Unternehmen. Beim Programmieren liegt die Spitze bei den zugekauften Modellen, und beim freien Formulieren langer Texte fällt der Unterschied ebenfalls auf.
Für das Programmieren gibt es dafür eine unabhängige Messung. Am 5. September 2026 stehen auf dem offiziellen SWE-bench-Leaderboard Claude 4.5 Opus, Doubao-Seed-Code und Gemini 3 Pro Preview vorn, das beste Modell mit offenen Gewichten folgt mit Abstand.
Für die vier anderen Aufgaben enthält keine geprüfte Quelle einen unabhängigen, methodisch offengelegten Vergleichstest lokal betreibbarer Modelle gegen ChatGPT oder Claude. Was in den Vergleichsartikeln steht, sind Coding-Zahlen, von dort auf alles andere hochgerechnet. Das Leaderboard für selbst betreibbare Modelle bei Onyx stellt bewusst keinen Vergleich zur Cloud her: GPT-5 und Claude kommen dort nicht vor.
| Aufgabe | Einschätzung aus unseren Aufbauten | Was unabhängig belegt ist |
|---|---|---|
| Suche in eigenen Unterlagen | Reicht, sobald die Fundstelle vor der Antwort gesucht und mitgegeben wird | Nur die Suchhälfte: Qwen3-Embedding-8B führt das mehrsprachige MTEB-Leaderboard. Zur Güte am Ende der Kette fehlt jede Zahl |
| Zusammenfassen | Reicht | Kein unabhängiger Vergleichstest gefunden |
| Prüfen gegen feste Vorgaben | Reicht, wenn die Vorgabe mitgegeben und nicht vorausgesetzt wird | Kein unabhängiger Vergleichstest gefunden |
| Freies Formulieren | Schwächer, je länger und je freier der Text | Kein unabhängiger Vergleichstest gefunden |
| Programmieren | Zurück, und das fällt im Alltag auf | Offizielles SWE-bench-Leaderboard, Spitze durchgehend zugekauft |
| Sehr lange Vorlagen | Bricht ein, lange vor dem angegebenen Kontextfenster | Ein Modell der 30-Milliarden-Klasse fällt bei 64.000 Token auf eine Lösungsquote von 7 % |
Was die Benchmarks sagen, Stand September 2026
Die Benchmarks sagen eine Richtung und keine Zahl. Wie groß der Abstand ist, lässt sich aus den öffentlichen Quellen nicht bestimmen: Die Spanne der Gegenwerte ist breiter als der Abstand, den dieselben Quellen daraus ableiten.
Für die zugekaufte Spitze auf SWE-bench Verified nennen die geprüften Quellen Werte zwischen 88,6 und 97,0 Prozent, und der höchste davon steht auf keinem unabhängigen Leaderboard. Für die offene Spitze stehen 80,6 Prozent für DeepSeek-V4-Pro-Max und 60,4 Prozent für Kimi K2.7-Code nebeneinander. Dasselbe Modell schwankt je nach Testumgebung um mehrere Punkte; bei den zwei Beispielen, die sich nachrechnen lassen, sind es 4 und 18 Punkte. Keine Vergleichsquelle legt offen, in welcher Umgebung sie gemessen hat.
Eine Zahl hat die Prüfung überstanden und hilft trotzdem nicht weiter: GLM-5.2 erreicht im Juni 2026 auf SWE-bench Pro 62,1 Prozent gegenüber 58,6 Prozent bei GPT-5.5, nach Angabe des Herstellers z.ai als erstes Modell mit offenen Gewichten, das ein GPT-Modell auf diesem Test schlägt. Gemessen ist das auf einem anderen, härteren Test als die Zahlen oben und an einem Modell, das kein Betrieb in seinen Serverraum stellt.
Es fehlt außerdem die Zeile, die ein Betrieb bräuchte. Kein geprüftes Leaderboard führt ein Modell zwischen 7 und 70 Milliarden Parametern nachgerechnet auf; alle Werte dieser Klasse sind Hersteller- oder Forenangaben, und für eine einzige Modellgeneration liegen sie zwischen 73 und 90 Prozent.
Warum die Modelle aus den Vergleichen nicht in Ihren Serverraum passen
Die Artikel, die einen Gleichstand von offen und zugekauft behaupten, belegen ihn mit Modellen, die kein Betrieb auf einer Arbeitsplatz-Maschine betreibt. Das ist der größte Lesefehler der Quellenlage: Verfügbare Gewichte werden durchgehend mit lauffähig im eigenen Unternehmen gleichgesetzt. Warum verfügbare Gewichte und ein lauffähiges System zwei Dinge sind, steht in was quelloffen bei KI heißt.
Die Belegmodelle dieser Artikel sind MiniMax M2.5 mit 230 Milliarden Parametern, Qwen 3.5 mit 397 Milliarden Parametern und 17 Milliarden davon je Token aktiv, dazu GLM-5.2, Kimi K2.7 und DeepSeek-V4-Pro-Max in derselben Größenordnung. Über ein Modell mit 7 bis 70 Milliarden Parametern sagen ihre Werte nichts.
Dass ein Teil dieser Modelle je Token nur einen Bruchteil seiner Parameter rechnet, hilft nicht. Die Dokumentation von Hugging Face zu Modellen mit Fachabteilungen, in der Fachliteratur Mixture of Experts, sagt es deutlich: Alle Parameter müssen im Arbeitsspeicher liegen. Der Speicher richtet sich nach der Gesamtzahl, das Tempo nach der aktiven.
Rechnen lässt sich das vor jedem Kauf, mit einer Faustformel statt mit einer Herstellerangabe: Byte je Parameter rund 2 bei 16 Bit, rund 1 bei 8 Bit, rund 0,5 bei 4 Bit, mal der Parameterzahl, darauf rund ein Viertel Aufschlag für die nicht quantisierten Schichten.
Was die Rechnung nicht kann, steht in ihren letzten beiden Zeilen: Sie beziffern gemessene Einzelfälle, nicht den Bedarf je Token; eine Formel dafür nennt keine geprüfte Quelle. Und dass ein Modell in den Speicher passt, heißt nicht, dass es brauchbar schnell antwortet; zum Tempo auf Arbeitsplatz-Hardware gibt es nur widersprüchliche Einzelberichte. Welche Maschine dazugehört, steht in welche Hardware lokale KI braucht.
| Rechenschritt | Beispiel: 27 Milliarden Parameter in 4 Bit |
|---|---|
| Parameterzahl mal Byte je Parameter | 27 mal 0,5 Byte ergibt 13,5 GB rechnerisch |
| Rund ein Viertel Aufschlag | gemessen rund 17 GB, in weiteren Berichten 17 bis 24 GB je nach Stufe |
| Rest der Maschine | Gemessener Einzelfall auf einer Arbeitsstation mit 32 GB gemeinsamem Speicher: 32 minus 17 lassen rund 15 GB für Kontext, System und Anwendung. Mit eigener Grafikkarte wird anders gerechnet |
| Kontext | Wert eines kleineren Modells: Hugging Face misst für gut 15 Milliarden Parameter bei 16.000 Token rund 15 GB, mit zusammengefassten Abfrageköpfen unter 400 MB |
Jeder Artikel, der einen Gleichstand von offenen und zugekauften Modellen behauptet, belegt ihn mit Modellen zwischen 230 und 397 Milliarden Parametern.
Woran ein Betrieb den Unterschied im Alltag merkt
Der Unterschied zeigt sich nicht am einzelnen Satz, sondern an drei Stellen. Nur die erste hat eine klare Zahl, und die zeigt nach unten.
Ein Coder-Modell der 30-Milliarden-Klasse fällt bei 64.000 Token Kontext auf eine Lösungsquote von 7 %. Die Modellkarte eines Modells derselben Klasse zeigt dasselbe Muster: Im RULER-Test sinkt die Genauigkeit, je länger der Kontext wird. Angegebenes Kontextfenster und nutzbarer Kontext sind zwei verschiedene Dinge.
Die Einschränkung dazu: Das zugrunde liegende Papier misst Aufgaben über mehrere Schritte, nicht reines Nachschlagen. Die 7 % zeigen die Richtung und sind kein Wert für die Suche in Unterlagen; für die Bauentscheidung reicht das: gesuchte Stellen statt ganzer Handbücher.
Bei Aufgaben über viele Schritte fällt ein zweites Muster auf, das keine Benchmarkzahl abbildet. Zu MiniMax M2.5 berichtet ein Praxisbericht, das Modell habe eine Testreihe gegen erfundene Daten geschrieben und anschließend gemeldet, alles funktioniere. Das sind Einzelberichte aus Foren und zu einem Modell mit 230 Milliarden Parametern: Beleg für den Mechanismus, nicht für eine Zahl.
Drei Stellen, an denen es auffällt
- Die lange Vorlage. Ein Handbuch am Stück führt zu Antworten, die Stellen aus der Mitte übersehen. Der Ausweg ist nicht das größere Fenster, sondern die vorgeschaltete Suche.
- Der lange Vorgang. Je mehr Schritte eine Aufgabe hat, desto häufiger meldet ein kleineres Modell Erfolg, ohne ihn zu haben. Prüfen Sie das Ergebnis, nicht die Selbstauskunft.
- Die Nachprüfbarkeit. Hier steht ein Modell im eigenen Unternehmen besser da, weil die Fundstelle aus der vorgeschalteten Suche kommt.
Was ein kleineres Modell mit den eigenen Unterlagen ausgleicht
Ein kleineres Modell holt einen großen Teil des Rückstands auf, sobald es nicht mehr aus dem Gedächtnis antworten muss. Wird die passende Stelle aus Ihren Unterlagen vor der Antwort gesucht und mitgegeben, verschiebt sich die Aufgabe vom Wissen zum Lesen, und Lesen können auch kleinere Modelle. Wie dieser Aufbau arbeitet, steht in wie ein RAG-System funktioniert.
Belegbar ist davon die Suchhälfte. Qwen3-Embedding-8B führt das mehrsprachige MTEB-Leaderboard an, ein Modell mit acht Milliarden Parametern. Der Rang stammt aus Juni 2025 und ist im Tempo dieses Feldes alt.
Bei einem Armaturenhersteller läuft seit Dezember 2025 eine Plattform im eigenen Netz. Die Anmeldung geht über den vorhandenen Microsoft-Entra-ID-Tenant per OAuth und OIDC, die Bauteile sind Open WebUI, Qdrant und docling-serve, und unter jeder Antwort steht die Fundstelle. Was dort gebaut wurde, steht im Bericht Technische Dokumentation durchsuchbar machen. Aus dem Fall folgt eine Aussage über den Aufbau, keine über Modelle oder Maschinen.
Die zweite Hälfte der Kette ist nicht belegt. Für Halluzinationsrate, Zitiergenauigkeit und Trefferquote am Ende einer vollständigen Kette im eigenen Unternehmen nennt keine geprüfte Quelle eine Zahl.
Was der Aufbau ausgleicht und was nicht
- Fehlendes Wissen. Ihre Artikelnummern standen in keinen Trainingsdaten. Gesucht und vorgelegt stehen sie jedem Modell zur Verfügung.
- Aktualität. Ein neues Dokument wirkt, sobald es eingelesen ist, und nicht mit der nächsten Modellgeneration.
- Nicht ausgeglichen: langes Formulieren. Ein Bericht über zwanzig Seiten bleibt die Aufgabe mit dem deutlichsten Unterschied.
Wo der zugekaufte Weg die bessere Wahl bleibt
Der Einwand, der Interessenten zum zugekauften Dienst zurücktreibt, lautet meist: Das beste Modell ist immer das, das man nicht selbst betreibt. Er trägt in zwei Punkten und in einem dritten nicht.
Er trägt beim Programmieren und beim freien Schreiben langer Texte. Er trägt zweitens beim laufenden Aufwand: Modellwechsel, Aktualisierungen und Betrieb stehen in keiner Modellkarte. Zwischen Februar und August 2026 lösten sich bei Qwen vier Generationen ab.
Er trägt nicht als Aussage über alle Aufgaben, und genau so wird er vorgebracht. Die Zahl dahinter stammt aus einem Programmiertest an einem Modell mit 230 oder 397 Milliarden Parametern, in einer Umgebung, die niemand nennt.
Beim Preis lohnt der Blick in beide Richtungen. Microsoft 365 Copilot liegt bei rund 30 Euro je Nutzer und Monat, Listenpreis, Stand September 2026; für ChatGPT Enterprise nennt OpenAI keinen Listenpreis. Dem steht kein Lizenzpreis gegenüber, sondern Maschine, Aufbau und Betreuung. Was das im eigenen Unternehmen kostet, steht in was der Betrieb im eigenen Unternehmen kostet.
Drei Fälle, in denen wir zum zugekauften Dienst raten
- Es gibt niemanden, der das System betreut, weder im Unternehmen noch über einen Betriebsvertrag. Ein Modell im eigenen Unternehmen braucht eine benannte Person, nicht eine freie Stunde.
- Es geht um wenige Nutzer und wenige Dokumente. Dafür lohnt keine Maschine.
- Die Aufgabe ist Programmieren oder das freie Schreiben langer Texte.
In vielen Häusern laufen deshalb beide Wege nebeneinander: die eigenen Unterlagen im eigenen Netz, die allgemeinen Aufgaben zugekauft.
Kurz beantwortet
Diese vier Fragen kommen in fast jedem Gespräch vor.
- Was ist ein lokales Sprachmodell?
- Ein Sprachmodell, dessen Gewichte auf einer Maschine im eigenen Netz liegen und dort rechnen, im Netz auch lokales LLM genannt; die Anfrage verlässt das Unternehmen nicht. Verbreitet sind Größen von rund 7 bis 70 Milliarden Parametern, und was ein Betrieb damit tun darf, hängt an der Lizenz. Was zum Betrieb dazugehört, steht in was zum Betrieb im eigenen Unternehmen gehört.
- Ersetzt ein Modell im eigenen Unternehmen ChatGPT vollständig?
- Für die Suche in eigenen Unterlagen, Zusammenfassungen und die Prüfung gegen feste Vorgaben nach unserer Erfahrung aus eigenen Aufbauten ja, ein unabhängiger Vergleichstest dafür fehlt. Für das Programmieren und für sehr lange Vorlagen nein: Dort steht die Spitze auf dem offiziellen SWE-bench-Leaderboard durchgehend bei den zugekauften Modellen.
- Welche Modellgröße braucht ein Betrieb?
- Die, die die eigenen Aufgaben verlangen, und das rechnet man vor dem Kauf aus. Als Anhalt: rund 2 GB je Milliarde Parameter bei 16 Bit und rund 0,5 GB bei 4 Bit, darauf rund ein Viertel Aufschlag, dazu der Kontext. Bei Modellen mit Fachabteilungen zählt die Gesamtzahl der Parameter, nicht die aktive.
- Woran erkenne ich, ob eine Vergleichszahl etwas taugt?
- An drei Angaben: Modellvariante, Quantisierung und Testumgebung. Fehlt eine davon, ist die Zahl nicht nachprüfbar. Dasselbe Modell schwankt je nach Umgebung um mehrere Punkte, bei zwei nachrechenbaren Beispielen um 4 und 18, und für eine einzige Modellgeneration liegen die kursierenden Werte deshalb zwischen 73 und 90 Prozent.
Was Sie als Nächstes tun
Prüfen Sie es an Ihren eigenen Fällen, statt weiter Ranglisten zu lesen. Eine Woche reicht, und die ersten drei Schritte kosten nichts außer Zeit. Am Ende haben Sie eine Zahl, die für Ihr Unternehmen gilt.
Was wir dabei tun: Wir planen den Aufbau an Ihren Aufgaben und nehmen zwei bis drei Modelle an Ihren eigenen dreißig Fragen ab. Für lokale KI ist die Planung individuell, der Aufbau danach zum Festpreis, der Betrieb nach Vereinbarung. Was dazugehört, steht auf lokale KI im eigenen Netz.
Jede Zahl in diesem Text trägt ein Abrufdatum, weil sich dieses Feld schnell bewegt. Wiederholen Sie die Prüfwoche, bevor Sie ein zweites Mal auswählen.
Eine Woche, fünf Schritte
- Montag: sammeln. Dreißig Aufgaben aus Innendienst, Service und Verwaltung, so aufgeschrieben, wie sie wirklich anfallen.
- Dienstag: richtige Antworten festhalten. Zu jeder Aufgabe die zutreffende Antwort und das Dokument dazu, von jemandem, der das beurteilen kann.
- Mittwoch: gleiche Umgebung herstellen. Gleiche Anweisung, gleiche Vorlagen, gleiche Länge für alle Kandidaten. Diese Woche misst mit einer Person zugleich; wie viele gleichzeitige Anfragen die Zielmaschine tragen muss, ist eine eigene Frage und wird danach gesondert geprüft.
- Donnerstag: gegenrechnen. Dieselben Aufgaben gegen den zugekauften Dienst, mit den Unterlagen, die dafür freigegeben sind.
- Freitag: auswerten. Nach Fehlerarten getrennt zählen. Erfunden, unvollständig und unbrauchbar formuliert sind drei verschiedene Fehler.
Im Einzelnen
Was in unserer Prüfung nicht gehalten hat
Von zehn geprüften Behauptungen aus Fachpresse und Auswahlratgebern haben zwei gehalten: die Richtung des offiziellen Leaderboards und die Schwankung desselben Modells zwischen Testumgebungen, beide ohne einen Abstand in Punkten.
Vier Muster
- Zwei richtige Zahlen, ein falscher Schluss. Aus 80,2 % für MiniMax M2.5 gegen 80,8 % für Claude Opus 4.6 wurde die Behauptung, die Lücke beim Programmieren sei geschlossen. Dasselbe Leaderboard führt das offene Modell auf Platz drei.
- Eine Zahl ohne Primärquelle. 97,0 % für die zugekaufte Spitze findet sich auf keinem unabhängigen Leaderboard. Dieselbe Quelle nennt auf ihrer zweiten Seite andere Werte.
- Ein Coding-Wert wird zum Gesamturteil. Aus 77,2 % auf einem Programmierbenchmark wurde die Aussage, das Modell liege für alle Aufgaben innerhalb von 20 Punkten der Spitze.
- Eine Behauptung ohne Zahl. Ein Modell komme mit langen Dokumenten zurecht, steht ohne Test da, während die Primärquellen das Gegenteil zeigen.
Der Rückschluss ist nicht, dass offene Modelle schlecht wären, sondern dass die kursierenden Vergleiche eine andere Frage beantworten als die, die ein Betrieb stellt.
Was auch nach der Prüfung offen bleibt
Sechs Lücken bleiben. Sie sind der Grund, warum am Ende dieses Textes eine eigene Prüfwoche steht und keine Rangliste.
Sechs Lücken
- Es fehlt jeder unabhängige Vergleichstest lokal betreibbarer Modelle gegen ChatGPT oder Claude für Zusammenfassung, Prüfung gegen Vorgaben und freies Schreiben.
- Für die Suche in eigenen Unterlagen fehlt eine Zahl zur Güte der vollständigen Kette.
- Der Abstand zwischen eigenem Betrieb und Cloud ist zahlenmäßig nicht bestimmbar, solange keine Quelle ihre Testumgebung offenlegt.
- Kein geprüftes Leaderboard führt ein Modell zwischen 7 und 70 Milliarden Parametern in einer nachgerechneten Zeile.
- Für den Speicherbedarf des Kontexts je Token gibt keine Quelle eine Formel an.
- Zum Tempo auf Arbeitsplatz-Hardware gibt es nur widersprüchliche Einzelberichte ohne Angabe von Quantisierung, Kontextlänge und Laufzeitumgebung.
Eine siebte Lücke betrifft die Begründung, die in Gesprächen am häufigsten fällt. Die datenschutzrechtliche Herleitung für den Betrieb im eigenen Unternehmen taucht in den Quellen nur als Behauptung auf, ohne Norm, Artikel oder Wortlaut. Was ein Betrieb bei KI nachweisen muss, steht in was Sie bei KI nachweisen müssen. Eine achte Lücke ist die Beteiligung nach BetrVG § 87 Abs. 1 Nr. 6, die dieser Text nicht klärt: was der Betriebsrat bei KI mitbestimmt.
Verglichen wird ein Modell, das Sie nie betreiben werden
Jeder Artikel, der einen Gleichstand von offenen und zugekauften Modellen behauptet, belegt ihn mit Modellen zwischen 230 und 397 Milliarden Parametern. Die laufen auf keiner Arbeitsplatz-Maschine und auf keinem Server, den ein Betrieb dieser Größe für einen Piloten hinstellt.
Für die Klasse, um die es geht, führt kein geprüftes Leaderboard eine nachgerechnete Zeile. Prüfen Sie deshalb bei jeder Zahl zuerst die Parameterzahl und dann die Testumgebung. Bleibt danach etwas übrig, ist es eine Zahl.
Ein Modell im eigenen Netz, abgenommen an Ihren eigenen Fragen
Wir rechnen vor dem Kauf aus, welche Modellgröße Ihre Fälle verlangen, nehmen zwei bis drei Kandidaten an Ihren eigenen dreißig Fragen ab und leiten Maschine und Betrieb daraus ab. Planung individuell, Aufbau zum Festpreis danach, Betrieb nach Vereinbarung.
Weiterlesen
- Welche lokalen KI-Modelle für Firmen taugen Lizenz, Größenklasse und Speicherbedarf aus den Modellkarten, statt Ranglisten, die in vier Wochen überholt sind.
- Technische Dokumentation durchsuchbar machen Der Bericht zum Fall: was gebaut wurde, womit, seit wann es läuft und was offen geblieben ist.
- Wie ein RAG-System funktioniert Warum die Antwort aus den eigenen Unterlagen kommt und nicht aus dem Gedächtnis des Modells.