KI lokal betreiben: was wirklich dazugehört
KI lokal betreiben heißt nicht installieren, sondern dauerhaft betreiben. Die Software lässt sich zügig aufsetzen, danach beginnt die Arbeit, die bleibt: ein Modell wählen, dessen Lizenz Ihr Unternehmen überhaupt einschließt, die Anmeldung an das vorhandene Verzeichnis hängen, aktualisieren, sichern und einen Plan für den Ausfall haben. Jeder Punkt hier ist gekennzeichnet, ob er belegt ist oder Erfahrung bleibt.
- Kurzform
- Modell, Inferenzserver, Oberfläche und Anmeldung auf eigener Hardware, betrieben wie jedes andere Fachsystem
- Lizenzlage
- Llama 4 nimmt Unternehmen mit Hauptsitz in der EU aus, Mistral-7B-Instruct-v0.3 steht unter Apache 2.0
- Untergrenze Speicher
- Parameterzahl mal 2 Byte bei BF16, bei 7 Milliarden Parametern rund 14 GB, und das nur für die Gewichte
- Anmeldung
- Ein OIDC-Anbieter je Oberfläche, ein zweiter nur über einen von der Gemeinschaft beschriebenen, nicht offiziell unterstützten Umweg. Rechteänderungen greifen erst bei erneuter Anmeldung
- Mitbestimmung
- Ist das System zur Leistungs- oder Verhaltenskontrolle geeignet, ist der Betriebsrat vorab zu beteiligen, BetrVG § 87 Abs. 1 Nr. 6
- Belegter Fall
- Armaturenhersteller, Plattform im eigenen Netz, in Betrieb seit Dezember 2025
- Stand
- September 2026
Wann Sie es nicht selbst machen sollten
Wer KI im eigenen Unternehmen betreiben will, braucht jemanden, der die Maschine übernimmt. Fehlt diese Person, lassen Sie es. Ein Sprachmodell auf eigener Hardware ist ein Fachsystem wie das ERP, mit einem Verantwortlichen und einem festen Wartungsfenster. Sie muss auch ans Telefon gehen, wenn es steht. Sonst entsteht ein Bastelstand, den nach dem ersten längeren Urlaub niemand mehr anfasst.
Der zweite Grund liegt in der Ablage. Ein System, das aus Ihren Unterlagen antworten soll, ist nur so gut wie der Bestand darunter. Liegen drei Fassungen derselben Preisliste im Netz, ändert daran keine Grafikkarte etwas.
Wer KI selbst hosten will, geht deshalb zuerst diese Liste durch. Trifft ein Punkt zu, ist der eigene Betrieb der falsche nächste Schritt, nicht zwangsläufig der falsche Weg.
Fünf Gründe, es zu lassen
- Es gibt keine Person, die den Betrieb übernimmt, und keine Vertretung für sie.
- Die Unterlagen sind nicht gepflegt. Dann ist zuerst die Ablage an der Reihe und nicht der Server.
- Es gibt keinen Fall. Wer nicht sagen kann, welche Frage das System täglich beantworten soll, kauft eine Maschine ohne Aufgabe.
- Gefragt ist ein einzelner Vorgang, der automatisiert gehört. Dafür genügt eine Anbindung, kein eigener Rechner.
- Es soll in zwei Wochen laufen. Ein bezogener Dienst ist an einem Tag nutzbar, ein eigener Betrieb ist eine Entscheidung über Jahre.
Diese Verantwortung muss nicht im eigenen Unternehmen liegen: Werden Aufbau und Betrieb vergeben, entfällt der Punkt, die übrigen vier bleiben. Planung, Aufbau und Betrieb übernehmen wir als lokale KI im eigenen Netz.
Dafür spricht der umgekehrte Fall: Die Unterlagen dürfen das Unternehmen nicht verlassen, und die Nutzung soll nicht je Kopf abgerechnet werden. Dazu kommt, dass das Modell in drei Jahren noch dasselbe sein soll. Wie sich das gegen den bezogenen Dienst rechnet, steht in was der Betrieb im eigenen Unternehmen kostet.
Was geklärt sein muss, bevor Sie anfangen
Vier Dinge, und keines davon ist technisch. Wer sie vor dem ersten Angebot auf ein Blatt schreibt, kann Hardware und Modell danach ausrechnen statt raten.
Der Fall zuerst. Aus ihm ergibt sich, ob überhaupt eine Suche über eigene Unterlagen nötig ist, also wie ein RAG-System funktioniert, oder ob ein Modell allein reicht.
Dann die Menschen, die Daten und das Netz. Diese drei entscheiden später über Aufwand und Betriebsort.
Vier Punkte auf einem Blatt
- Der Fall. Zwanzig echte Fragen und die Dokumente, in denen ihre Antworten stehen, zusammengestellt vom Fachbereich, der die Antworten im Alltag braucht, nicht von der IT allein.
- Die Personen. Ein Verantwortlicher für den Betrieb, eine Vertretung, ein Ansprechpartner für Rechte.
- Die Daten. Welche Bestände hinein dürfen, welche nicht, und wer welchen sehen darf.
- Das Netz. Ob die Maschine nach außen darf, um Modelle und Aktualisierungen zu ziehen, und wenn nicht, auf welchem Weg beides sonst hereinkommt.
Ein fünfter Punkt kommt hinzu, sobald Beschäftigte das System nutzen. Ist das System dazu geeignet, Leistung oder Verhalten zu überwachen, ist der Betriebsrat nach BetrVG § 87 Abs. 1 Nr. 6 zu beteiligen. Das klärt man vor dem Aufbau, nicht danach.
Die Lizenz entscheidet vor der Hardware.
Die drei Betriebsorte und was sie unterscheidet
Es gibt drei Orte, an denen so ein System stehen kann, und sie unterscheiden sich weniger in der Technik als in der Frage, wer die Maschine anfasst und wer für sie geradesteht: KI auf eigenem Server im Unternehmen, gemietete Hardware in einem deutschen Rechenzentrum, oder ein Aufbau ganz ohne Verbindung nach außen.
Technisch läuft in allen drei Fällen dasselbe. KI lokal hosten heißt hier: Das Modell liegt auf einer Maschine, über die Sie verfügen, und die Anfrage verlässt diese Maschine nicht.
Rechtlich ist damit nichts erledigt. Sobald ein Dritter die Hardware betreibt, ist zu klären, ob er Auftragsverarbeiter nach DSGVO Art. 28 ist und was dafür im Vertrag stehen muss. Das gilt, sobald personenbezogene Daten in den Unterlagen stehen. Dazu kommen die Betreiberpflichten der KI-Verordnung, unter anderem Art. 4 und Art. 26; wie weit sie im Einzelfall reichen, hängt an der Einstufung des Systems. Beides gehört zum Datenschutzbeauftragten und, wo es eng wird, zur Rechtsberatung. Was am Ende nachweisbar sein muss, steht in was Sie bei KI nachweisen müssen.
| Betriebsort | Wer die Maschine anfasst | Wo es unbequem wird |
|---|---|---|
| Eigener Server im Unternehmen | Ihre IT, mit eigener Hand am Blech | Strom, Kühlung, Platz im Schrank und ein Ersatzteil, das jemand vorhält |
| Gemietete Hardware im deutschen Rechenzentrum | Der Betreiber am Blech, Sie an der Software | Vertrag und Rollenverteilung nach DSGVO Art. 28, dazu eine Leitung, die tragen muss |
| Ohne Verbindung nach außen | Ihre IT allein, ohne Rückweg | Modelle und Aktualisierungen kommen nur über einen festgelegten Weg herein, und dieser Weg ist die eigentliche Arbeit |
Welches Modell Sie in Europa überhaupt betreiben dürfen
Die Lizenz entscheidet vor der Hardware. Offene Gewichte heißen nicht, dass jeder sie überall einsetzen darf. Für ein Unternehmen mit Hauptsitz in der EU ist das kein Randthema, sondern der erste Filter.
Das Llama 4 Community License Agreement vom 5. April 2025 gewährt seine Rechte an den multimodalen Llama-4-Materialien ausdrücklich nicht an in der EU ansässige Personen und nicht an Unternehmen mit Hauptsitz in der EU. Da alle Llama-4-Versionen multimodal sind, betrifft der Ausschluss die ganze Reihe. Meta begründet ihn mit der Unsicherheit um die europäische Regulierung. Benannt ist eine Ausnahme für Endnutzer von Diensten Dritter; wie weit sie reicht, klären die Quellen nicht, und wir behaupten es deshalb nicht.
Mistral-7B-Instruct-v0.3 steht dagegen laut Herstellerkarte unter der Apache-Lizenz 2.0: gebührenfrei, kommerziell, veränderbar, ohne Nutzerobergrenze und ohne geografische Schranke. Das Modell stammt vom Mai 2024. Es taugt damit als Rechenbeispiel, nicht als Kaufempfehlung für September 2026. Welche Modelle heute lizenzrechtlich sauber und fachlich aktuell sind, prüfen wir je Vorhaben neu.
Die Llama-Lizenz zieht eine zweite Grenze: Ab 700 Millionen monatlich aktiven Nutzern im Vormonat ist eine gesonderte Lizenz von Meta nötig, die nach dessen freiem Ermessen erteilt wird. Für einen Mittelständler greift diese Schwelle nie. Sie zeigt aber, dass „frei verfügbar“ hier ein Vertrag ist und kein Zustand.
| Llama 4 (Meta) | Mistral-7B-Instruct-v0.3 | |
|---|---|---|
| Lizenz | Llama 4 Community License Agreement, 5. April 2025 | Apache 2.0, Angabe der Modellkarte |
| Unternehmen mit Hauptsitz in der EU | Von den Rechten an den multimodalen Materialien ausgenommen | Keine geografische Schranke |
| Nutzerobergrenze | Gesonderte Lizenz ab 700 Mio. monatlich aktiven Nutzern | Keine |
| Gebühren | Keine, innerhalb der Lizenzgrenzen | Keine |
Wie Sie Modellgröße und Maschine bestimmen
Die Untergrenze lässt sich ausrechnen, alles darüber nicht. Ein Modell belegt für seine Gewichte so viel Speicher, wie es Parameter hat, mal der Zahl der Byte je Parameter. Im Format BF16 sind das zwei Byte. Ein lokales LLM, also ein großes Sprachmodell, mit 7 Milliarden Parametern, wie Mistral-7B-Instruct-v0.3 sie nach seiner Modellkarte hat, braucht damit rund 14 GB allein für die Gewichte.
Diese Zahl ist eine Untergrenze und keine Auslegung. Obendrauf kommen Kontextspeicher, Aktivierungen, der Aufschlag des Frameworks und gleichzeitige Anfragen. Was eine quantisierte Fassung spart, steht mit Rechenregel in welche Hardware lokale KI braucht; für Kontextspeicher und gleichzeitige Anfragen liegt uns keine allgemeine Regel vor. Wer ein LLM lokal betreiben will, misst diese Posten deshalb, statt sie zu schätzen.
Praktisch heißt das: Wir rechnen vor dem Kauf aus, welche Modellgröße Ihre Fälle brauchen, und leiten die Karte daraus ab. Der umgekehrte Weg endet regelmäßig bei einem Modell, das für die Fälle zu klein ist.
| Posten | Wie er sich ergibt | Belegt |
|---|---|---|
| Gewichte | Parameterzahl mal 2 Byte bei BF16, bei 7 Milliarden Parametern rund 14 GB | Ja, aus Parameterzahl und Format der Modellkarte |
| Zwischenspeicher für den Kontext | Wächst mit der Kontextlänge und der Zahl gleichzeitiger Anfragen | Nein, keine geprüfte Quelle |
| Quantisierte Fassungen | Rund 1 Byte je Parameter bei 8 Bit, rund 0,5 Byte bei 4 Bit, dafür Abstriche in der Güte | Ja, die Regel steht in welche Hardware lokale KI braucht |
| Durchsatz je Karte | Hängt an Modell, Kontextlänge und Zahl der Nutzer | Nein, gehört im eigenen Aufbau gemessen |
Was beim Aufsetzen wirklich zu tun ist
Eine lokale KI installieren ist der kleinste Teil. Zeit kostet das Zusammenspiel der Bauteile: ein Inferenzserver, eine Oberfläche mit Anmeldung und, wenn aus eigenen Unterlagen geantwortet werden soll, ein Index daneben.
Für den Inferenzserver nennt die Modellkarte von Mistral-7B-Instruct-v0.3 drei Wege: vLLM, die dort empfohlene herstellereigene Bibliothek mistral-inference und Hugging Face Transformers. vLLM gilt als Kandidat für viele gleichzeitige Nutzer, weil er auf Durchsatz ausgelegt ist; belegt ist uns das bisher nur aus einer einzelnen Fachblogquelle, nicht aus der Primärdokumentation. Ollama, in vielen Anleitungen zuerst genannt, steht auf dieser Modellkarte nicht.
Bei einem Armaturenhersteller läuft die Plattform als Docker-Compose-Verbund auf einem Linux-Server im eigenen Netz, seit Dezember 2025. Die Bauteile sind Open WebUI als Oberfläche, Qdrant als Index und docling-serve für das Einlesen der Dokumente. Was daraus geworden ist, steht im Bericht Technische Dokumentation durchsuchbar machen.
Wie die Oberfläche im Alltag aussieht, steht in Open WebUI als ChatGPT-Alternative.
Was zusammenkommt
- Modell. Gewichte in einem Format, das Ihr Inferenzserver liest.
- Inferenzserver. Er hält das Modell im Speicher und beantwortet Anfragen über eine Schnittstelle.
- Oberfläche. Der Ort, an dem Menschen sich anmelden und fragen.
- Index. Nur nötig, wenn aus eigenen Unterlagen geantwortet werden soll.
- Verbund und Betriebssystem. Ein Docker-Compose-Verbund auf einem Linux-Server, damit sich die Teile einzeln erneuern lassen.
Wie sich Ihr vorhandenes Verzeichnis anbinden lässt
Über das Verzeichnis, also den Dienst, in dem die Benutzerkonten Ihres Unternehmens ohnehin geführt werden, meist Microsoft Entra ID oder ein Active Directory. Niemand soll eine zweite Benutzerverwaltung pflegen, und wer das Unternehmen verlässt, soll damit auch aus dem KI-System verschwinden.
Für die Anbindung an Entra ID braucht die IT vier feste Werte aus der Dokumentation von Open WebUI und eine Rückleitadresse, die in der Anwendungsregistrierung identisch hinterlegt sein muss.
Zwei Details entscheiden darüber, ob der Betrieb ruhig läuft. Ohne den Scope offline_access schlägt die Erneuerung des Zugangstokens fehl, und Nutzer müssen sich nach etwa einer Stunde erneut anmelden, so die Dokumentation von Open WebUI. Und Rollen- oder Gruppenänderungen aus dem Verzeichnis greifen erst bei der nächsten Anmeldung. Ein Rechteentzug wirkt in der Oberfläche also nicht sofort. Das gehört in die Austrittsliste der IT.
Beides zusammen hat eine Folge, die vor der Entscheidung gehört: Setzen Sie offline_access, verlängert das zugleich das Zeitfenster, in dem ein entzogenes Recht in der Oberfläche noch wirkt. Wer das nicht will, muss beim Austritt zusätzlich die Zugangstoken im Verzeichnis widerrufen und nicht nur die Rolle ändern.
Eine Grenze steht in derselben Dokumentation: Es lässt sich zur Zeit nur ein einziger OIDC-Anbieter gleichzeitig führen, konfiguriert über OPENID_PROVIDER_URL. Wer zwei Anmeldewege braucht, landet bei einem Umweg, den wir hinter der Falte beschreiben.
Beim Armaturenhersteller läuft die Anmeldung über den vorhandenen Microsoft-Entra-ID-Tenant per OAuth und OIDC.
Fünf Anleitungen führt die Dokumentation
- Okta über OIDC
- Azure AD über LDAP
- Zwei OAuth-Anbieter nebeneinander
- Abgleich der Gruppennamen aus Entra ID
- Zugang über Tailscale
Alle fünf sind ausdrücklich als Beiträge aus der Gemeinschaft gekennzeichnet. Das sind Hinweise, keine Zusagen des Herstellers, und sie können mit einer neuen Fassung brechen.
Was im Betrieb an Arbeit anfällt und was ein Ausfall bedeutet
Wer ein LLM selbst hosten will, rechnet mit einem festen Anteil an Arbeit, nicht mit null. Aktualisierungen, ein Blick auf Auslastung und Antwortzeiten, Sicherungen, und alle paar Monate die Frage, ob ein neueres Modell den Wechsel lohnt.
Für Aktualisierungsrhythmen, Sicherungsverfahren, Wiederanlaufzeiten und das Verhalten bei einem Ausfall der Grafikkarte liegt uns keine geprüfte öffentliche Quelle vor. Was hier steht, ist die Ordnung, nach der wir selbst betreiben, und keine Herstellerangabe. Auch Versionsstände und Unterstützungsdauer der Bauteile zum Stand September 2026 nennt keine der geprüften Quellen.
Für den Ausfall gilt: Legen Sie vorher fest, wie lange das System stehen darf und wie viel Arbeit verloren gehen darf. Aus diesen zwei Zahlen ergibt sich, was gesichert wird und wie oft. Ohne sie ist jede Sicherung eine Vermutung.
Was wiederkehrend anfällt
- Aktualisierungen der Bauteile, jedes einzeln und mit einem Weg zurück.
- Sicherung des Zustands: Benutzer und Rechte, Chatverläufe, der Index und die Konfiguration. Die Modelldateien lassen sich neu laden, der Rest nicht.
- Beobachtung von Auslastung, Antwortzeit und freiem Speicher, mit einer Schwelle, die jemanden auch nachts erreicht.
- Modellwechsel als geplanter Vorgang, mit denselben zwanzig Fragen vorher und nachher.
- Einmal im Jahr aus der Sicherung wiederanlaufen, damit die Sicherung nicht nur existiert.
Für Chatverläufe braucht es zusätzlich ein Löschkonzept: wie lange sie aufbewahrt werden und wer sie einsehen darf, klärt der Datenschutzbeauftragte vor dem Start. Weil sich aus ihnen ablesen lässt, wer wann welche Frage gestellt hat, bleibt die Mitbestimmung hier laufend berührt, nicht nur bei der Einführung.
Kurz beantwortet
Vier Fragen, die immer wieder auftauchen.
- Ist es möglich, eigene KI lokal zu betreiben?
- Ja. Nötig sind ein Modell, dessen Lizenz Ihr Unternehmen einschließt, eine Maschine mit genug Grafikspeicher, ein Inferenzserver und eine Oberfläche mit Anmeldung. Der Aufbau ist überschaubar. Der eigentliche Posten ist die laufende Arbeit danach.
- Was brauche ich für eine lokale KI?
- Als Untergrenze so viel Grafikspeicher, wie die Gewichte belegen: Parameterzahl mal zwei Byte im Format BF16, bei sieben Milliarden Parametern rund 14 GB. Kontextspeicher und gleichzeitige Nutzung kommen obendrauf und sind öffentlich nicht beziffert. Deshalb wird die Modellgröße aus den Fällen abgeleitet und danach die Karte gewählt.
- Welches Modell soll ich nehmen?
- Für ein Unternehmen mit Hauptsitz in der EU entscheidet zuerst die Lizenz. Llama 4 scheidet danach aus, ein Modell unter Apache 2.0 wie Mistral-7B-Instruct-v0.3 nicht. Welches davon fachlich trägt, zeigt erst ein Test mit Ihren eigenen zwanzig Fragen.
- Wie trainiere ich eine lokale KI?
- Für den üblichen Fall ist Training nicht der Weg. Ihre Unterlagen werden zur Laufzeit gesucht und dem Modell vorgelegt, statt in seine Gewichte einzugehen. Das ist schneller aktuell, nachprüfbar und lässt sich zurücknehmen, wenn ein Dokument nicht mehr gelten soll.
Im Einzelnen
Warum zwei Anmeldewege einen Umweg erzwingen
Weil die Oberfläche nur einen OIDC-Anbieter kennt. Wer Beschäftigte aus dem eigenen Verzeichnis und dazu einen zweiten Kreis anmelden will, etwa Externe aus einem fremden Konto, kommt mit der vorgesehenen Einstellung nicht aus.
Die Dokumentation beschreibt dafür ein Verfahren: Microsoft läuft als primärer OIDC-Anbieter über OPENID_PROVIDER_URL, mit der Adresse https://login.microsoftonline.com/TENANT_ID/v2.0/.well-known/openid-configuration. Der zweite Weg läuft über das eingebaute Google-Modul. Zusammengeführt werden die Konten über OAUTH_MERGE_ACCOUNTS_BY_EMAIL und ENABLE_OAUTH_SIGNUP.
Zwei Einschränkungen stehen auf derselben Seite. Erstens bezeichnet sie das Verfahren selbst als Beitrag aus der Gemeinschaft, der vom Entwicklungsteam nicht offiziell unterstützt wird. Zweitens gilt das Zusammenführen über die E-Mail-Adresse als sicherheitskritisch, weil nicht jeder Anbieter diese Adresse prüft; ein Konto lässt sich damit übernehmen. Wir setzen das nur, wo der zweite Anbieter unter Ihrer Kontrolle steht.
Ein offener Wunsch nach mehreren Anbietern liegt seit Juli 2025 im Projekt und war bei unserer Prüfung am 5. September 2026 unbeantwortet.
Die vier Werte, die schon der einfache Weg braucht, nennt die Dokumentation für Microsoft Entra ID als Umgebungsvariablen: MICROSOFT_CLIENT_ID, MICROSOFT_CLIENT_SECRET, MICROSOFT_CLIENT_TENANT_ID und MICROSOFT_REDIRECT_URI. Die Rückleitadresse ist fest vorgegeben: die Adresse Ihrer Oberfläche mit dem Zusatz /oauth/microsoft/callback, identisch hinterlegt in der Anwendungsregistrierung.
Was ein Wiederanlauf voraussetzt
Vier Dinge tragen den Zustand: die Benutzer samt Rechten, die Chatverläufe, der Index über Ihre Unterlagen und die Konfiguration der Bauteile. Die Modelldateien gehören nicht dazu: Sie lassen sich neu laden, sofern die Maschine dafür einen Weg nach außen hat oder die Datei im Unternehmen liegt.
Genau hier zeigt der abgeschottete Betrieb seinen Preis. Ohne Verbindung nach außen muss die Modelldatei vorgehalten werden, und zwar in der Fassung, die zuletzt geprüft wurde. Sonst steht nach einem Ausfall zwar der Server wieder, aber mit einem anderen Modell, und die zwanzig Fragen antworten anders.
Wiederanlaufzeiten und das Verhalten bei einem Ausfall der Grafikkarte bleiben aus denselben Gründen wie oben unbelegt. Wer eine Zusage braucht, misst sie im eigenen Aufbau, einmal geplant und mit Protokoll.
Die Lizenz steht vor der Hardware
Offene Gewichte heißen nicht, dass ein Unternehmen mit Hauptsitz in der EU sie einsetzen darf. Das Llama 4 Community License Agreement nimmt in der EU ansässige Personen und Unternehmen mit Hauptsitz in der EU von den Rechten an den multimodalen Materialien aus, und alle Llama-4-Versionen sind multimodal.
Ein Modell unter Apache 2.0 wie Mistral-7B-Instruct-v0.3 kennt diese Schranke nicht. Wer die Modellwahl bei der Grafikkarte beginnt statt beim Lizenztext, kauft im schlechten Fall eine Maschine für ein Modell, das er nicht betreiben darf.
Lokale KI, gebaut und betrieben
Planung, Aufbau und Betrieb im eigenen Netz, mit der Modellgröße aus Ihren Fällen statt aus einem Datenblatt. Planung individuell, Aufbau zum Festpreis nach der Planung, Betrieb nach Vereinbarung.
Weiterlesen
- Technische Dokumentation durchsuchbar machen Der Fall aus diesem Text: Docker-Compose-Verbund im eigenen Netz, Anmeldung über den vorhandenen Tenant, in Betrieb seit Dezember 2025.
- Lokale KI im eigenen Netz Was Planung, Aufbau und Betrieb umfassen und in welchen Schritten das läuft.
- Open WebUI als ChatGPT-Alternative Die Oberfläche im Alltag: was sie kann, wo sie an Grenzen stößt und was sie nicht ersetzt.