Lokale KI für Unternehmen: die Modelle laufen im eigenen Netz

Wie ein Betrieb das im Alltag nutzt

Am Anfang steht kein Werkzeug, sondern ein Vorgang, der heute Zeit kostet. Drei Beispiele aus einem technischen Betrieb, für die ein Modell im eigenen Netz der richtige Ort ist.

Drei Fälle aus dem Tagesgeschäft

• Die Konstruktion sucht eine alte Zeichnung und bekommt die Fundstelle im Original genannt, nicht nur einen Ordnernamen
• Die Qualitätssicherung lässt einen Prüfbericht gegen eine Vorgabe abgleichen und bekommt die Abweichungen benannt
• Ein Prüfschritt in der Fertigung läuft weiter, auch wenn die Leitung ins Internet ausfällt

Die Arbeit macht dabei ein Sprachmodell, im Fachwort LLM. Es liest Text, ordnet ihn ein und formuliert eine Antwort. Wo es dabei rechnet, ist eine eigene Entscheidung, und um die geht es auf dieser Seite.

Wann Modelle im eigenen Netz laufen müssen

Es gibt zwei Gründe, und nur einer davon ist der Datenschutz. Der erste steht in Ihren Vereinbarungen: Wer für Kunden aus Rüstung, Automobil oder Pharma arbeitet, hat Geheimhaltungsvereinbarungen unterschrieben, die eine Weitergabe an Dritte ausschließen. Ein Sprachmodell bei einem Anbieter ist ein Dritter, auch wenn er verspricht, nichts zu speichern. Was Sie für beide Wege belegen müssen, steht unter was Sie bei KI nachweisen müssen.

Der zweite ist praktisch: Wenn die Leitung ausfällt, steht ein zugekauftes Modell still. Für eine Chatoberfläche ist das ärgerlich, für eine Prüfung in der Fertigung ist es ein Produktionsstopp.

Diese Betriebsform heißt on premise. KI on premise bedeutet: Das Modell rechnet auf Ihrer eigenen Hardware, und die Unterlagen bleiben dort, wo sie ohnehin liegen.

Wenn keiner der beiden Gründe zutrifft, ist der eigene Betrieb der teurere Weg. Wann wir davon abraten, steht weiter unten.

Typische Anlässe

• Geheimhaltungsvereinbarungen, die eine Weitergabe an Dritte ausschließen
• Ein Betriebsrat, der einer Verarbeitung außer Haus nicht zustimmt (Mitbestimmung nach § 87 Abs. 1 Nr. 6 BetrVG, sobald ein System die Nutzung protokollieren kann; das gilt im eigenen Netz genauso, nur bleibt die Verarbeitung dann im Haus; mehr dazu unter was der Betriebsrat bei KI mitbestimmt)
• Anlagen ohne Netzanbindung, in denen das System trotzdem antworten soll
• Der Wunsch, nicht an einen Anbieter und seine Preisliste gebunden zu sein

Was lokal genau heißt, in drei Stufen

Der Begriff wird für drei verschiedene Dinge benutzt, und die Unterschiede entscheiden über Kosten und Aufwand. Wir klären das vor dem Angebot, damit niemand für Stufe drei bezahlt, wenn Stufe eins reicht.

In der ersten Stufe liegen Ihre Daten im Haus, das Modell wird zugekauft. In der zweiten läuft auch das Modell auf Ihrer Hardware, das System darf aber noch ins Internet, etwa für Aktualisierungen. In der dritten gibt es keinen Weg nach außen mehr. On premise KI ist also kein einzelner Zustand, sondern eine dieser drei Stufen.

Der Sprung von zwei auf drei ist der teuerste. Ohne Verbindung nach außen muss jede Aktualisierung von Hand eingespielt werden, und ein Fehler lässt sich nicht eben aus der Ferne beheben. Das ist machbar und wir machen es, aber es sollte einen Grund haben.

Was brauche ich für eine lokale KI im eigenen Netz?

Wir rechnen vor dem Kauf aus, welche Modellgröße Ihre Fälle brauchen, und leiten daraus ab, ob eine einzelne Grafikkarte in einem vorhandenen Server reicht oder ein eigener Rechner nötig ist. Ein LLM on premise braucht Rechenleistung im Haus, und die richtet sich nach Ihren Fällen, nicht nach einem Datenblatt. Wie diese Rechnung geht, steht unter welche Hardware lokale KI braucht. Was ein eigener Rechner dafür kostet, steht unter was ein KI-Server kostet.

Die Anmeldung läuft über Ihr vorhandenes Verzeichnis, also über das Konto, mit dem Ihre Leute sich morgens ohnehin anmelden, etwa Microsoft Entra ID. Wer das Unternehmen verlässt, verliert den Zugang dort, wo Sie ihn ohnehin entziehen. Eine zweite Benutzerverwaltung entsteht nicht. Was Ihre IT-Leitung vor der Freigabe prüft, steht unter was die IT-Leitung bei lokaler KI prüft.

Für den Betrieb gibt es zwei Wege. Entweder wir übernehmen ihn, oder wir schulen Ihre IT und bleiben im Hintergrund erreichbar. Der zweite Weg ist der günstigere, und er ist der richtige, wenn bei Ihnen jemand Linux-Server verantwortet. Was alles dazugehört, steht unter was zum Betrieb im eigenen Haus gehört.

Was der eigene Betrieb an Arbeit erzeugt →

Wie ein Aufbau abläuft

Wie lange der Aufbau dauert, legt die Planung fest. Der längste Posten ist selten die Technik, sondern der Termin mit Ihrer IT für die Anmeldung.

1. Aufnahme Welche Daten dürfen nicht nach außen, welche Fälle sollen laufen, was steht an Hardware bereits da.
2. Größe bestimmen Wir messen an Ihren echten Fällen, welche Modellgröße reicht. Daraus folgt die Hardware, nicht aus einem Datenblatt.
3. Aufbau Server einrichten, Modelle aufsetzen, Oberfläche bereitstellen, Anmeldung an Ihr Verzeichnis binden.
4. Testbetrieb Eine Abteilung arbeitet damit, bevor jemand über eine Erweiterung entscheidet.
5. Übergabe Dokumentation, Zugänge, Einweisung. Danach können Sie es allein betreiben, auch ohne uns.

Was es kostet

Die Planung wird individuell veranschlagt. Der Aufbau ist ein Festpreis, und er steht nach der Planung fest. Der Betrieb läuft nach Vereinbarung.

Der Grund für diese Reihenfolge: Zwischen Stufe eins und Stufe drei liegt ein Vielfaches. Eine Zahl vorab würde mehr verschleiern als zeigen, weil sie für den einen zu hoch und für den anderen zu niedrig wäre.

Die Hardware kaufen Sie direkt beim Händler Ihrer Wahl. Wir stellen nur Arbeitszeit in Rechnung und verdienen an der Hardware nichts.

Ob sich der eigene Betrieb gegen ein zugekauftes Modell rechnet, hängt an der Zahl der Nutzer und an der Laufzeit. Diese Rechnung haben wir an anderer Stelle aufgemacht.

Was der eigene Betrieb gegen ein zugekauftes Modell kostet →

Wann wir abraten

Wenn keine Geheimhaltungsvereinbarung und keine Anlage ohne Netz dahintersteht, ist ein zugekauftes Modell in einem europäischen Rechenzentrum meist der bessere Weg. Er ist schneller verfügbar, und die größten Modelle laufen nur dort. Was er gegen den eigenen Betrieb kostet, steht unter was der Betrieb im eigenen Haus kostet.

Auch dann raten wir ab, wenn niemand im Haus einen Server verantworten will und der Betrieb nicht dauerhaft eingekauft werden soll. Ein System, für das sich niemand zuständig fühlt, veraltet still.

Und die ehrlichste Grenze: Frei verfügbare Modelle mit offenen Gewichten, die auf einer Grafikkarte im Serverraum laufen, sind kleiner als das, was die großen Anbieter betreiben (Stand September 2026). Für Suche in eigenen Unterlagen, Zusammenfassungen und Prüfungen gegen Vorgaben reicht das. Für ein Angebot mit eigener Note oder eine lange technische Ausarbeitung von Grund auf bleibt der zugekaufte Weg besser. Welche Modelle dafür infrage kommen, steht unter welche lokalen KI-Modelle für Firmen taugen. Aufgabe für Aufgabe steht das unter ob ein lokales Sprachmodell so gut ist wie ChatGPT.