Wie eine RAG-Pipeline aufgebaut wird
Eine RAG-Pipeline ist eine Strecke aus fünf Stationen: einlesen, zerlegen, einbetten, suchen, antworten. An jeder Station fällt eine Entscheidung, und jede falsche Entscheidung sieht später wie eine schlechte Antwort aus. Es folgt, mit welchen Bauteilen wir arbeiten und was Speicher und Einbettung kosten.
- Kurzform
- Eine RAG-Pipeline hat fünf Stationen: einlesen, zerlegen, einbetten, suchen, antworten. Die ersten drei laufen je Dokument, die letzten beiden je Frage
- Womit wir bauen
- Docling liest die Dateien ein, Qdrant findet die passenden Stellen, Open WebUI ist die Oberfläche zum Fragen, die Anmeldung läuft über den vorhandenen Verzeichnisdienst
- Die härteste Stelle
- Die Rechte. Der Filter im Suchindex ist ein Zeichenkettenvergleich; welche Gruppen ein Fragender mitbringt, muss die Anwendung liefern, und dieses Stück ist zu bauen
- Ausgerechnet
- Beispielrechnung: 200.000 Abschnitte mit 1.024 Dimensionen belegen in float32 rund 0,82 GB Arbeitsspeicher, die einmalige Einbettung kostet zu Listenpreisen 1,60 bis 10,40 US-Dollar. Der größte Posten, das Antwortmodell, ist darin nicht enthalten
- Belegter Fall
- Armaturenhersteller, Open WebUI, Qdrant und docling-serve als Docker-Compose-Verbund im eigenen Netz, in Betrieb seit Dezember 2025
- Stand
- September 2026
Worin sich eine RAG-Pipeline von einem Chatbot unterscheidet
Ein Chatbot antwortet aus dem, was im Modell steht. Eine RAG-Pipeline antwortet aus dem, was in Ihren Unterlagen steht, und der Weg dorthin ist gebaut, nicht trainiert. In Fachtexten heißt diese Strecke RAG-Architektur, und sie ist der eigentliche Liefergegenstand.
Wie weit sich das vorher planen lässt, hat eine Erfahrungsarbeit von Barnett und anderen 2024 an drei Fallstudien untersucht. Sie benennt sieben Fehlerstellen und zwei Kernaussagen: Die Prüfung eines solchen Systems ist erst im Betrieb möglich, und seine Belastbarkeit entwickelt sich, statt hineinkonstruiert zu werden.
Nützen wird sie allen, die heute in Ordnern suchen: im Vertrieb, der die passende Baureihe braucht, in der Qualitätssicherung, die einen Prüfwert sucht.
Welche Stationen ein Dokument bis zur Antwort durchläuft
Fünf Stationen, immer in derselben Reihenfolge. Die ersten drei laufen je Dokument und nach jeder Änderung wieder, die letzten beiden bei jeder Frage. Diese Trennung entscheidet über die Kosten: Der eine Teil wächst mit dem Bestand, der andere mit der Nutzung.
Die Skizze zeigt, was von einem Dokument übrig bleibt: ein Abschnitt mit Überschrift, Quelle und Berechtigung. Genau dieser Abschnitt steht später unter der Antwort.
Die fünfte Station ist die einzige, an der ein Sprachmodell beteiligt ist. Alles, was es zu sehen bekommt, hat die vierte ausgewählt.
| Station | Was dort geschieht | Die Entscheidung |
|---|---|---|
| Einlesen | Aus PDF, Office-Dateien und Scans wird Text mit Struktur | Welches Werkzeug, und ob es im eigenen Netz läuft |
| Zerlegen | Der Text wird in Abschnitte geschnitten | Wonach geschnitten wird, und wessen Tokenizer die Länge begrenzt |
| Einbetten | Jeder Abschnitt wird in eine Zahlenreihe übersetzt | Welches Modell, gemessen am eigenen Bestand |
| Suchen | Die Frage läuft dicht und stichwortartig gegen den Bestand | Wie viele Kandidaten, und ob eine zweite Stufe nachbewertet |
| Antworten | Frage und Abschnitte gehen an das Sprachmodell | Wie viele Abschnitte übergeben werden und in welcher Reihenfolge |
Womit wir bauen und warum
Wir lesen mit Docling ein, suchen mit Qdrant und stellen Open WebUI davor. Bei einem Armaturenhersteller läuft dieser Aufbau seit Dezember 2025 als Docker-Compose-Verbund auf einem Linux-Server im eigenen Netz, die Anmeldung per OAuth und OIDC gegen den vorhandenen Microsoft-Entra-ID-Tenant. Der Liefergegenstand ist nicht die Werkzeugliste, sondern das System und der Betrieb dahinter.
Docling ist ein quelloffenes Paket unter MIT-Lizenz für die Dokumentkonvertierung. Der Technische Bericht von IBM Research nennt 2024 zwei eigene Modelle darin: DocLayNet für die Layoutanalyse und TableFormer für die Tabellenstruktur. Die Dokumentation führt heute weit mehr Formate, dazu Texterkennung für Scans. Entscheidend: Docling läuft vollständig lokal, auch ohne Verbindung nach außen, sobald die Modelle einmal im Unternehmen liegen.
Docling bringt zwei Zerleger mit, und ihr Unterschied entscheidet, wie brauchbar die Abschnitte werden. Der HierarchicalChunker erzeugt einen Abschnitt je erkanntem Dokumentelement und hängt Überschriften und Bildunterschriften an. Der HybridChunker setzt darauf auf und arbeitet nach dem Tokenizer des Einbettungsmodells: Er teilt nur bei Übergröße und führt nur zusammen, wenn kurze aufeinanderfolgende Abschnitte dieselben Überschriften tragen.
Qdrant ist die Vektordatenbank darin, in englischen Texten die Vector DB der RAG-Strecke: Sie hält die Abschnitte samt ihren Zahlenreihen und führt dichte und dünnbesetzte Vektoren in einer Abfrage zusammen. Was sie im Ganzen leistet, steht im Beitrag darüber, wie ein RAG-System funktioniert.
Open WebUI ist die Oberfläche, an der Menschen fragen; die Anmeldung führen wir über den Verzeichnisdienst, den das Unternehmen ohnehin betreibt, sofern er OAuth oder OIDC spricht. Die Dokumentation von Open WebUI nennt Qdrant, Milvus und pgvector als anschließbare Datenbanken und schaltet hybride Suche über BM25 mit Nachbewertung zu. Wir wählen sie, weil die Strecke im Unternehmen bleibt. Was das im Betrieb bedeutet, steht unter lokale KI im eigenen Netz, der gebaute Fall im Bericht Technische Dokumentation durchsuchbar machen.
Der Liefergegenstand ist nicht die Werkzeugliste, sondern das System und der Betrieb dahinter.
Wo Dokumente auf dem Weg kaputtgehen
Dokumente gehen selten beim Einlesen kaputt, meistens beim Zerlegen. Ein Scan ohne Textebene fällt sofort auf. Eine Maßtabelle, die zwischen zwei Abschnitte getrennt wurde, fällt erst auf, wenn jemand einen falschen Wert weitergibt.
Der verbreitete Rat, zuerst in semantische Zerlegung zu investieren, hält einer Messung von 2024 nicht stand. Qu, Tu und Bao haben 2024 das Schneiden nach Ähnlichkeit benachbarter Abschnitte gegen feste Blockgrößen gemessen und halten die Rechenkosten für nicht gerechtfertigt. Verglichen wurden allerdings nur diese beiden Verfahren, nicht das Schneiden entlang der Dokumentstruktur.
Auch bei den Embedding-Modellen gibt es keine Antwort von der Stange. Der Massive Text Embedding Benchmark prüfte 2022 dreiunddreißig Modelle über acht Aufgabenarten und 58 Datensätze und fand kein Verfahren, das alle Aufgaben gewinnt. Sein Nachfolger MMTEB prüfte 2025 über 500 Aufgaben in mehr als 250 Sprachen und führt multilingual-e5-large-instruct mit 560 Millionen Parametern als bestes öffentlich verfügbares Modell.
Wie lang ein Abschnitt sein darf, entscheidet das Einbettungsmodell, nicht der Zerleger. Laut Modellkarte schneidet multilingual-e5-large längere Texte auf höchstens 512 Token ab, bge-m3 nimmt bis zu 8.192. Zwischen zwei mehrsprachigen Modellen liegt der Faktor sechzehn. Wer den Zerleger auf das eine einstellt und mit dem anderen einbettet, verliert Text, und nichts meldet es.
Drei Stellen, an denen ein Abschnitt seinen Sinn verliert
- Eine Tabellenzeile verliert ihre Kopfzeile, und aus einem Preis je Meter wird ein Preis je Stück.
- Ein Absatz sagt „gilt nicht für die Baureihe 3“, und im Abschnitt steht nicht mehr, wofür er gilt.
- Ein Abschnitt ist länger, als das Einbettungsmodell annimmt, und der Rest wird abgeschnitten.
Wie die Zugriffsrechte mitwandern
Von allein wandern sie nicht mit. In der allgemein verfügbaren Bauweise ist die Rechteprüfung im Index ein Vergleich von Zeichenketten, den die Anwendung bei jeder Abfrage setzen muss. Microsoft schreibt das für Azure AI Search wörtlich hin: Das Muster ahmt eine Berechtigung auf Dokumentebene nach, eine Authentifizierung über den Sicherheitsprinzipal findet nicht statt, der Prinzipal ist nur eine Zeichenkette in einem Filterausdruck.
Warum das in einen Text über den Aufbau gehört: Diese Zeichenkette entsteht beim Zerlegen. Dieselbe Dokumentation hält fest, dass ohne die Projektion der Rechtefelder auf jede Abschnittszeile die Verweise auf Abschnittsebene nicht gefiltert werden. Ein Index kann auf Dokumentebene sauber aussehen und auf Abschnittsebene offen sein.
Die zweite Stelle ist der Zeitverzug. Rechteänderungen an der Quelle wirken erst, wenn sie in den Index nachgeführt sind. Bei SharePoint übernimmt seit der Vorschau-Schnittstelle vom Mai 2026 jeder erfolgreiche Indexerlauf die Änderungen an Elementen mit eigenen Rechten; geerbte Änderungen verlangen eine ausdrückliche Auffrischung. Wer heute einen Zugriff entzieht, hat ihn im durchsuchbaren Bestand noch nicht entzogen.
Die Dokumentation zu Azure AI Search nennt im September 2026 vier Wege zur Rechtevererbung auf Dokumentebene, und nur der schwächste ist allgemein verfügbar: der Sicherheitsfilter. Die drei Wege, die den Token des Aufrufers prüfen, laufen über eine Vorschau-Schnittstelle.
Im Selbstbetrieb übernimmt die Nutzlastfilterung der Datenbank diese Aufgabe. Qdrant verknüpft Bedingungen über und, oder und nicht, beliebig geschachtelt. Für schnelle Filter verlangt die Dokumentation einen Nutzlastindex und rät, ihn vor dem Einspielen der Daten anzulegen. Wer zu welcher Gruppe gehört, liefert weiterhin die Anwendung.
Liegen die Rechte im Dateiserver, im ERP oder im PDM-System, bleibt genau ein Weg: Microsoft nennt für eigene Identitätssysteme und für jeden selbst befüllten Index den Sicherheitsfilter, weil er an keine Fassung der Schnittstelle gebunden ist. Diese Zeichenketten aus solchen Quellen zu ziehen und aktuell zu halten, ist Bauarbeit im Plan. Bei dem Armaturenhersteller liefert Microsoft Entra ID Anmeldung und Gruppen; ein Rechtemodell auf Dokumentebene steht dort im Fallbericht als Ausbauschritt.
Weil die Anmeldung personenbezogen ist, lässt sich nachvollziehen, wer wann was gesucht hat. Ob nach Person ausgewertet wird, ist eine Einstellung und gehört vor den Betriebsrat, bevor das System live geht (BetrVG § 87 Abs. 1 Nr. 6); was er dabei mitentscheidet, steht unter was der Betriebsrat bei KI mitbestimmt. Was gegenüber dem Datenschutzbeauftragten nachzuweisen ist, steht unter was Sie bei KI nachweisen müssen.
Was der Betrieb kostet
Die Einbettung ist der billigste Posten. Ein Bestand von 200.000 Abschnitten mit je 400 Token ergibt 80 Millionen Token. Zu Listenpreisen, Stand September 2026, kostet der Erstaufbau rund 1,60 US-Dollar mit text-embedding-3-small von OpenAI (0,02 US-Dollar je Million Token) und rund 10,40 US-Dollar mit text-embedding-3-large (0,13 US-Dollar je Million).
Der Speicherbedarf ist vor dem Kauf ausrechenbar, weil die Formeln offenliegen. Skalare Quantisierung von float32 auf uint8 senkt den Platzbedarf der Vektoren laut Qdrant um den Faktor vier, bei einem Fehler von üblicherweise unter 1 Prozent. Das ist eine Herstellerangabe: Wie viel Genauigkeit verloren geht, hängt am Modell.
Die Rechnung nimmt eine bezahlte Schnittstelle an. Im abgeschotteten Aufbau entfällt der Posten, die Einbettung läuft dann auf derselben Maschine wie das Antwortmodell, und deren Strom ist ohnehin fällig: Ein Server mit einer Karte zieht 0,7 bis 1,5 kW, bei 32,58 Cent je Kilowattstunde rund 2.000 bis 4.280 Euro Strom im Jahr (Eurostat, Band IA, Deutschland, zweites Halbjahr 2025). Den größten Posten, Hardware und Arbeitszeit für das Antwortmodell, rechnet der Beitrag darüber vor, was der Betrieb im eigenen Unternehmen kostet. Nicht enthalten ist der Neuaufbau bei einem Wechsel des Einbettungsmodells.
Was ein Aufbau bei uns kostet, steht fest. Das Pilotprojekt für eine Abteilung liegt bei 4.900 Euro netto über drei Wochen, das Vollsystem beginnt bei 12.900 Euro netto und rechnet das Pilotprojekt an, der Betrieb liegt ab 590 Euro im Monat bei zwölf Monaten Mindestlaufzeit. Was in welcher Stufe enthalten ist, steht unter Wissenssystem aus eigenen Unterlagen.
| Posten | Formel | Beispiel mit 200.000 Abschnitten |
|---|---|---|
| Vektoren im Arbeitsspeicher | Abschnitte mal Dimensionen mal Byte je Dimension | 1.024 Dimensionen in float32: rund 0,82 GB, in uint8 rund 0,20 GB |
| Suchgraph | Abschnitte mal Kanten je Knoten mal 2 mal 4 Byte mal 1,2 | bei 16 Kanten je Knoten rund 31 MB |
| Nutzdaten auf der Platte | Abschnitte mal mittlere Nutzdatengröße mal 1,5 | bei 2 KB je Abschnitt rund 0,61 GB |
| Einbettung, einmalig | Token gesamt durch eine Million, mal Preis je Million | 80 Millionen Token: 1,60 bis 10,40 US-Dollar |
| Nachbewertung, je Anfrage | Kandidaten mal Token je Kandidat, durch eine Million, mal Preis je Million | 100 Kandidaten mit je 400 Token, rerank-3 zu 0,05 US-Dollar je Million: rund 0,002 US-Dollar |
Woran Sie merken, dass etwas nicht stimmt
Eine RAG-Pipeline fällt nicht aus. Sie antwortet weiter, nur falscher, und jede Antwort trägt weiterhin eine Fundstelle unter sich. Die Frage ist deshalb nicht, ob sie läuft, sondern woran jemand den Unterschied bemerkt.
Eine Ursache steht in keiner Fehlermeldung: die Position der belegenden Stelle im Kontext. Die Untersuchung „Lost in the Middle“ von Liu und anderen fand 2023 die Antwortqualität am höchsten, wenn die einschlägige Stelle am Anfang oder am Ende steht, und deutlich schlechter, wenn das Modell sie in der Mitte langer Kontexte suchen muss, ausdrücklich auch bei Modellen für lange Kontexte. Die Reihenfolge der übergebenen Abschnitte ist damit eine Bauentscheidung, gemessen 2023 und für heutige Modelle nicht nachgeprüft.
Messen lässt sich das mit RAGAS. Das Rahmenwerk trennt drei Dimensionen: ob der Abruf die treffenden Stellen findet, ob das Sprachmodell bei ihnen bleibt und ob die Antwort selbst etwas taugt. Diese Trennung sagt, an welcher Station der Fehler sitzt.
Ohne vorher geschriebene Musterantworten erheben lässt sich Faithfulness. Sie ist der Anteil der Aussagen in der Antwort, die der abgerufene Kontext stützt, auf einer Skala von 0 bis 1, und braucht nur Frage, Antwort und die abgerufenen Stellen. Die Bewertung übernimmt ein Sprachmodell, kostet je Messung Aufrufe und schwankt mit ihm. Sie misst Treue zum Kontext, nicht Richtigkeit: Ist die abgerufene Stelle falsch, kann die Antwort treu und trotzdem falsch sein.
Andere Maße aus dem Katalog setzen eine hinterlegte Musterantwort voraus, etwa Context Recall und Factual Correctness.
| Was der Leser sieht | Wo es meistens herkommt | Was zuerst zu prüfen ist |
|---|---|---|
| Die Antwort trifft das Thema, aber nicht die Bedingung | Der Abschnitt wurde ohne seine Überschrift geschnitten | Fundstelle im Original mit dem gespeicherten Abschnitt vergleichen |
| Eine Artikelnummer findet das falsche Blatt | Es sucht nur der dichte Zweig, der stichwortartige fehlt | Ob die Abfrage beide Zweige nutzt und wie die Listen zusammenkommen |
| Die richtige Stelle war dabei und kam nicht in der Antwort vor | Sie stand in der Mitte eines langen Kontexts | Wie viele Abschnitte übergeben werden und in welcher Reihenfolge |
| Jemand bekommt Auskunft aus einem gesperrten Ordner | Die Rechteangabe wurde beim Zerlegen nicht übertragen | Ob der Filter bei jeder Abfrage gesetzt wird, nicht nur bei der ersten |
| Die Antwort nennt eine Quelle und trotzdem einen alten Wert | Der Abgleich mit der Quelle ist noch nicht gelaufen | Wann der letzte Lauf war und was mit gelöschten Dokumenten geschieht |
Kurz beantwortet
Vier Fragen kommen in Erstgesprächen fast immer.
- Was ist eine RAG-Pipeline?
- Die Strecke, die eine Frage von Ihren Unterlagen bis zur Antwort nimmt: einlesen, zerlegen, einbetten, suchen, antworten. Sie ist gebaut und nicht trainiert, deshalb lässt sich jede Station einzeln ändern und messen. Was zwischen Abruf und Sprachmodell geschieht, erklärt der Beitrag darüber, wie ein RAG-System funktioniert.
- Aus wie vielen Schritten besteht sie?
- Aus fünf, wenn man den Betrieb nicht mitzählt. Die ersten drei laufen je Dokument, die letzten beiden je Frage. Wer eine andere Zahl liest, hat dieselben Schritte anders geschnitten, meist indem er das Nachbewerten der Treffer als eigene Station führt.
- Lohnt der Aufwand noch, wo Modelle immer längere Kontexte lesen?
- Ja, und der Grund ist gemessen. Auch Modelle, die ausdrücklich für lange Kontexte gebaut sind, verlieren Stellen in der Mitte; das zeigte „Lost in the Middle“ 2023. Dazu kommt der Preis des großen Fensters: Nach der Hugging-Face-Dokumentation belegen die Aufmerksamkeitsmatrizen eines Modells mit vierzig Köpfen bei 16.000 Token rund 19 GB Grafikspeicher, bei 1.000 Token etwa 50 MB.
- Was geschieht mit den Zugriffsrechten, wenn jemand das Unternehmen verlässt?
- Entzogen wird der Zugriff dort, wo er vergeben ist, im Verzeichnisdienst. Im durchsuchbaren Bestand wirkt der Entzug erst nach dem nächsten Abgleich, bei geerbten Rechten unter Umständen erst nach einer ausdrücklichen Auffrischung. Wie oft dieser Abgleich läuft, gehört deshalb in die Planung.
Zwei Stationen im Einzelnen
Wie zwei Trefferlisten zusammenkommen
Die gemeinsame Suche braucht keine gemeinsame Punkteskala; deshalb funktioniert sie ohne Feinabstimmung. Reciprocal Rank Fusion, 2009 von Cormack, Clarke und Büttcher vorgestellt, verrechnet allein Rangplätze: Jeder Treffer bekommt aus jeder Liste den Kehrwert aus einer Konstante plus seinem Rang, und die Summe entscheidet. Das Papier setzt die Konstante auf 60, hält die Wahl aber ausdrücklich für unkritisch: Zwischen 10 und 100 bewegt sich die mittlere Genauigkeit in seiner Pilotmessung nur von 0,2123 auf 0,2147. Umsetzungen weichen davon ab, deshalb ist der Wert in der eingesetzten Fassung nachzuschlagen.
Die zweite Stufe liegt in derselben Abfrage. Sobald eine Abfrage eine Vorabfrage enthält, führt Qdrant zuerst diese aus und wendet die Hauptabfrage auf deren Ergebnis an. Im Beispiel der Dokumentation holt die erste Stufe hundert Kandidaten, die zweite bewertet sie nach und gibt zehn zurück.
Ein Reranker ist dabei kein Einbettungsmodell. Die Modellkarte von bge-reranker-v2-m3 sagt es deutlich: Er nimmt Frage und Dokument gemeinsam entgegen und gibt direkt eine Ähnlichkeit aus statt einer Einbettung. Deshalb urteilt er genauer und muss für jedes Paar einzeln rechnen. BEIR beschrieb 2021 diesen Tausch: die besten Ergebnisse im fremden Fachgebiet, ausdrücklich zu hohen Rechenkosten, und die klassische Stichwortsuche BM25 dort als robuste Grundlinie.
Wie ein Prüfsatz aus den eigenen Unterlagen entsteht
Ohne Prüfsatz ist jede Änderung an der Strecke Geschmackssache. Mit Prüfsatz ist sie eine Messung.
RAGAS kann einen solchen Satz aus Ihren Unterlagen erzeugen. Aus den übergebenen Dokumenten baut es einen Wissensgraphen und lässt daraus Fragen erzeugen, in der Vorgabe zur Hälfte Einzelschrittfragen, sonst mehrschrittige. Die Dokumentation setzt ausdrücklich eine menschliche Auswahl dahinter.
Drei Grenzen gehören dazu. Die Fragen stammen aus denselben Unterlagen, die das System durchsucht, und prüfen deshalb nicht, was dort fehlt. Die Erzeugung braucht selbst ein Sprachmodell und kostet damit. Eine Mindestgröße, ab der ein Prüfsatz trägt, nennt keine der geprüften Quellen.
Daneben steht der handfeste Weg: zwanzig Fragen, die im Unternehmen wirklich gestellt werden, jede mit der Angabe, in welchem Dokument die Antwort steht. Diese zwanzig laufen nach jeder Änderung erneut.
Das Recht hängt am Abschnitt, nicht am Ordner
Die Rechteangabe entsteht beim Zerlegen. Wird sie dort nicht auf jede einzelne Abschnittszeile übertragen, sieht der Index auf Dokumentebene sauber aus und filtert auf Abschnittsebene nicht.
Dazu kommt der Zeitverzug: Ein entzogener Zugriff wirkt erst nach dem nächsten Abgleich, bei geerbten Rechten erst nach einer ausdrücklichen Auffrischung. Beides ist eine Entscheidung an der zweiten Station, keine Einstellung am Ende.
Diese Strecke, gebaut an Ihren Dokumenttypen
Wir bauen und betreiben sie im eigenen Netz, mit der Anmeldung, die Sie schon haben. Pilotprojekt für eine Abteilung, drei Wochen.
Weiterlesen
- Technische Dokumentation durchsuchbar machen Der Bericht zum Fall: Open WebUI, Qdrant und docling-serve im eigenen Netz, in Betrieb seit Dezember 2025.
- Was ein RAG-System ist Die Ebene darüber: woraus so ein System besteht, wie eine Frage hindurchläuft und wann es sich lohnt.
- Wissenssysteme Was ein Aufbau umfasst, in welchen Schritten er läuft und was die Stufen kosten.