Was ein RAG-System ist und wie es funktioniert
Ein RAG-System sucht zuerst in Ihren eigenen Unterlagen und lässt das Sprachmodell erst danach antworten. Dieser Text erklärt, woraus so ein System besteht, wie eine Frage hindurchläuft, wo es in der Praxis bricht und woran Sie erkennen, ob Sie eins brauchen.
- Kurzform
- Retrieval-Augmented Generation: erst Suche in eigenen Unterlagen, dann Antwort mit Fundstelle
- Bestandteile
- Aufbereitung, Zerlegung, Vektordatenbank, Retriever, Sprachmodell, Oberfläche
- Womit wir bauen
- Open WebUI, Qdrant, Docling, Anmeldung über den vorhandenen Verzeichnisdienst
- Häufige Bruchstellen
- Dokumentqualität, Zuschnitt der Textstücke, Rechtevererbung, Aktualität des Index
- Dauer eines Aufbaus
- Aufbau und Konfiguration drei bis fünf Tage, Anbindung der Unterlagen fünf bis zehn Tage, Einführung zwei bis drei Tage
- Belegter Fall
- Armaturenhersteller, selbst gehostete Plattform im eigenen Netz, in Betrieb seit Dezember 2025
Was ein RAG-System ist
Ein RAG-System stellt der Antwort eine Suche voran. RAG steht für Retrieval-Augmented Generation, also für Texterzeugung mit vorgeschaltetem Abruf. Bevor das Sprachmodell einen Satz formuliert, sucht das System die passenden Stellen in Ihren eigenen Unterlagen und legt sie dem Modell vor. Die Antwort entsteht aus diesen Stellen und nennt, aus welchem Dokument sie stammt.
Das Modell lernt dabei nichts dazu. Ihre Preisliste wird nicht in ein Modell trainiert, sie wird zur Laufzeit gesucht und mitgegeben.
Der Grund für diesen Umweg ist einfach. Ein Sprachmodell kennt nur, was in seinen Trainingsdaten stand. Ihre Artikelnummern standen dort nicht, Ihre Wartungshistorie auch nicht. Fragt man trotzdem, formuliert das Modell etwas Plausibles. Die vorgeschaltete Suche ersetzt das Plausible durch etwas Nachlesbares.
| Der Fall | Modell allein | Modell mit Abruf |
|---|---|---|
| Sie fragen nach einem Preis aus Ihrer Liste | Die Antwort klingt plausibel und stimmt vielleicht | Das System sucht die Stelle und antwortet daraus |
| Ein Dokument kommt neu dazu | Es wirkt erst mit dem nächsten Training | Es wirkt, sobald es eingelesen ist |
| Ein Dokument soll nicht mehr gelten | Es lässt sich nicht mehr herauslösen | Es wird aus dem Bestand genommen |
| Jemand will die Auskunft nachprüfen | Es gibt nichts zum Nachschlagen | Unter der Antwort stehen Dokument und Stelle |
Woraus ein RAG-System besteht
Von außen ist es ein Chatfenster. Dahinter arbeiten sechs Teile, und jedes davon kann man sorgfältig oder nachlässig bauen.
Die Skizze zeigt, worauf die sechs Teile gemeinsam hinauslaufen: Aus PDF, Word, Tabellen und Scans wird ein Index, und erst aus dem Index wird eine Antwort, unter der die Fundstelle steht.
Oben gehen Dokument, Tabelle und Scan hinein, unten liegen gleich geschnittene Stücke, und eines davon steht später als Fundstelle unter der Antwort.
Die sechs Teile
- Aufbereitung. Aus PDF, Word, Tabellen und Scans wird Text mit Struktur. Überschriften, Tabellen und Seitenzahlen müssen erhalten bleiben, sonst ist die spätere Fundstelle wertlos.
- Zerlegung. Der Text wird in Stücke geschnitten, weil immer nur ein Ausschnitt in eine Anfrage passt. Wie geschnitten wird, entscheidet später über die Trefferqualität.
- Einbettung und Vektordatenbank. Jedes Stück wird in eine Zahlenreihe übersetzt, die seine Bedeutung abbildet. Die Datenbank findet dazu inhaltlich nahe Stücke, auch ohne wörtliche Übereinstimmung. Wir arbeiten mit Qdrant, verbreitet sind auch Pinecone, Weaviate und FAISS.
- Retriever. Er befragt die Datenbank, filtert nach Zugriffsrechten und wählt aus, was dem Modell vorgelegt wird.
- Sprachmodell. Es formuliert aus den vorgelegten Stellen eine Antwort und soll nichts ergänzen, was dort nicht steht.
- Oberfläche. Dort melden sich Menschen an, stellen ihre Frage und sehen die Quelle unter der Antwort. Wir setzen Open WebUI und eigene Wissenssysteme ein und führen die Anmeldung über den Verzeichnisdienst, den das Unternehmen ohnehin betreibt.
Wie eine Frage durch das System läuft
Der Weg ist immer derselbe, ob die Frage aus dem Innendienst kommt oder von der Baustelle.
Ein Beispiel, an dem sich das im Kleinen zeigen lässt: In einer Schulung bei einem Armaturenhersteller bauten die Teilnehmer selbst einen Assistenten, der nur Fragen zu Artikelpreisen aus der Preisliste des Hauses beantwortet. Kurz antworten, auf die Stelle in der Datei verweisen, alles andere höflich ablehnen. Geprüft wurde die Grenze mit einer Frage nach dem Wetter. Wie daraus später eine Plattform im eigenen Netz wurde, steht im Bericht Technische Dokumentation durchsuchbar machen.
Die Kette zeigt die vier Schritte in ihrer Reihenfolge, farbig die Suche: An dieser Station entscheidet sich, was das Modell überhaupt zu sehen bekommt, und alles danach kann nur noch daraus formulieren.
Vier Schritte
- Übersetzen. Die Frage wird in dieselbe Zahlenform gebracht wie vorher die Textstücke.
- Suchen. Der Retriever holt aus der Datenbank die Stücke, die inhaltlich zur Frage passen, meist fünf bis zwanzig, und verwirft, was der Fragende nicht sehen darf.
- Vorlegen. Frage und Stücke gehen gemeinsam an das Sprachmodell, zusammen mit der Anweisung, nur daraus zu antworten.
- Zurückgeben. Die Antwort geht an die Oberfläche, mit Verweis auf Dokument und Stelle.
Nicht jedes RAG-System sucht gleich
Was oben steht, ist die einfachste Bauart: Text zerlegen, einbetten, nach Ähnlichkeit suchen. Bei Fließtext trägt sie. Bei technischen Unterlagen kommen zwei Erweiterungen dazu, und in der Praxis laufen sie meistens nebeneinander.
Welche Werte dabei erfasst werden, ist eine Entscheidung und keine Einstellung. Bei einer Preisliste sind es Artikelnummer, Bezeichnung, Preis und Einheit. Bei einem Datenblatt Baureihe, Druckstufe, Werkstoff. Bei einem Wartungsprotokoll Anlage, Datum und Befund. Wer diese Felder nicht festlegt, bekommt ein System, das Textstellen findet, aber keine Frage nach einem Wert beantwortet.
Genau hier trennt sich ein System von der Stange von einem, das auf einen Bestand entwickelt wurde. Die Suche ist bei beiden dieselbe. Verschieden ist, was vorher aus den Dokumenten herausgeholt wurde.
| Bauart | Was sie kann | Wo sie aufhört |
|---|---|---|
| Vektorsuche | Findet inhaltlich Nahes, auch ohne wörtliche Übereinstimmung | Exakte Bezeichner gehen unter. Eine Artikelnummer liegt für die Suche dicht neben der nächsten |
| Hybride Suche | Vektorsuche und Stichwortsuche laufen parallel, die Trefferlisten werden zusammengeführt | Sie findet weiter Textstellen. Eine Summe oder eine vollständige Liste liefert sie nicht |
| Strukturierte Ebene daneben | Festgelegte Werte je Dokumenttyp landen zusätzlich in einer Datenbank, darauf lässt sich exakt und vollständig abfragen | Welche Felder das sind, muss je Dokumenttyp entschieden werden. Das ist die eigentliche Arbeit |
Die fünf Bruchstellen im Überblick
Was ein RAG-System taugt, entscheidet sich an fünf Stellen. Keine davon liegt beim Modell. Sie liegen bei den Unterlagen, beim Zuschnitt der Textstücke, bei den Werten, die überhaupt erfasst werden, bei den Zugriffsrechten und bei der Aktualität des Index.
Alle fünf fallen erst im Betrieb auf, weil die Antwort in jedem Fall richtig aussieht. Ausführlich stehen sie am Ende dieses Textes, jede mit den Fällen, die uns in technischen Betrieben regelmäßig begegnen.
| Bruchstelle | Woran Sie es merken | Was hilft |
|---|---|---|
| Die Unterlagen | Auf dieselbe Frage kommen zwei Antworten, je nachdem welche Fassung gefunden wird | Einen Bestand festlegen, der gilt, und Altfassungen aussortieren |
| Der Zuschnitt | Die Antwort trifft das Thema, aber nicht die Bedingung. Aus einem Preis je Meter wird ein Preis je Stück | Zwanzig echte Fragen mit ihrer richtigen Antwort festhalten und nach jeder Änderung erneut stellen |
| Die erfassten Werte | Eine Frage nach einem Wert bleibt ohne Antwort, obwohl die Zahl in jedem Datenblatt steht | Je Dokumenttyp festlegen, welche Felder erfasst werden, und diese Felder neben den Text stellen |
| Die Rechte | Jemand bekommt Auskunft aus einem Ordner, den er auf dem Dateiserver nicht öffnen könnte | Jedes Textstück führt seine Berechtigung mit, der Retriever filtert danach |
| Die Aktualität | Die Antwort nennt eine Quelle und trotzdem einen alten Wert | Festlegen, wer geänderte Dateien einliest, wie schnell, und was mit gelöschten geschieht |
Ein RAG-System antwortet aus dem, was es findet. Liegen drei Fassungen der Preisliste in der Ablage, findet es drei und nimmt eine davon.
Woran Sie erkennen, ob Sie eins brauchen
Ein RAG-System lohnt sich nicht, weil es ein RAG-System ist. Es lohnt sich, wenn die Antwort im Haus bereits existiert und nur niemand sie findet.
Dafür spricht
- Dieselbe Frage kommt jede Woche, und die Antwort steht in einem Dokument, das es tatsächlich gibt.
- Fällt ein bestimmter Kollege aus, fällt mit ihm die Auskunft aus.
- Der Bestand ist zu groß, um ihn zu lesen, und zu ungleich abgelegt, um ihn zu durchsuchen.
- Die Unterlagen dürfen das Haus nicht verlassen, ein öffentliches Chatwerkzeug scheidet damit aus.
- Wer fragt, braucht die Fundstelle und nicht nur die Auskunft.
„Deep5 hat uns dabei geholfen, unsere Graph- und Report-Analyse deutlich zu verbessern. Besonders schätzen wir die fachliche Kompetenz und die praxisnahe Umsetzung.“
Wann etwas anderes besser passt
Dagegen spricht ebenso oft etwas, und dann ist ein Wissenssystem der Umweg. Vier Fälle kommen dabei immer wieder vor.
| Der Fall | Das passende Mittel |
|---|---|
| Die Antwort steht in einer Datenbank | Eine Abfrage. Sie ist schneller und genauer als jede Suche über Text |
| Es sind zehn Dokumente, nicht zehntausend | Die Dokumente dem Modell direkt vorlegen, ganz ohne Vektordatenbank |
| Niemand pflegt die Unterlagen | Zuerst die Ablage. Sonst steht die Auskunft auf einem Bestand, dem im Haus niemand traut |
| Es hängt ein Vorgang, nicht eine Frage | Eine Automatisierung. Ein Wissenssystem beantwortet, es erledigt nicht |
Was Sie als Nächstes tun
Vier Schritte, in dieser Reihenfolge. Die ersten drei kosten nichts außer Zeit und entscheiden trotzdem über das Ergebnis.
Wie lange ein individueller Aufbau dauert, hängt am Bestand und nicht am Modell. Als Erfahrungswert: Aufbau und Konfiguration drei bis fünf Tage, Anbindung der Unterlagen und der ersten Assistenten fünf bis zehn Tage, Einführung und Schulung zwei bis drei Tage. Ein individuell entwickeltes Pilotprojekt für eine Abteilung kostet 4.900 Euro netto. Ein individuelles Vollsystem beginnt bei 12.900 Euro netto, das Pilotprojekt wird angerechnet. Der konkrete Preis ergibt sich aus den vereinbarten Anforderungen. Der Betrieb solcher individuellen Systeme beginnt bei 590 Euro netto im Monat mit zwölf Monaten Mindestlaufzeit. Diese Projektpreise gelten nicht für das fertige Mietsystem für Hausverwaltungen. Die Angebote stehen auf Wissenssysteme.
Wenn Sie unsicher sind, ob Ihr Bestand trägt, gehen Sie die zwanzig Fragen mit uns durch. Nach einer halben Stunde wissen Sie, ob daraus ein System wird oder ob zuerst die Ablage an der Reihe ist.
Vor dem ersten Modellaufruf
- Mitschreiben. Eine Woche lang festhalten, welche Fragen im Innendienst, im Service und in der Verwaltung tatsächlich gestellt werden.
- Zuordnen. Für zwanzig davon notieren, in welchem Dokument die Antwort steht und ob das die gültige Fassung ist.
- Rechte klären. Für dieselben zwanzig festhalten, wer das Dokument sehen darf und wer es pflegt.
- Dann erst Technik. Vorher ist jede Werkzeugfrage eine Frage zu früh.
Die fünf Bruchstellen im Einzelnen
Wo es bricht: die Unterlagen
Ein RAG-System antwortet aus dem, was es findet. Liegen drei Fassungen der Preisliste in der Ablage, findet es drei und nimmt eine davon.
Der Hauptteil der Arbeit klingt deshalb unscheinbar: einen Bestand festlegen, der gilt, Altfassungen aussortieren, Scans mit Texterkennung nachziehen, Tabellen als Tabellen behandeln. Wir lesen Dokumente mit Docling ein und nehmen für schwierige Seiten LandingAI dazu. Kein Werkzeug entscheidet allerdings, welche Preisliste die richtige ist. Das entscheidet jemand bei Ihnen.
Die Fälle, an denen diese Arbeit hängt, sind in technischen Betrieben immer dieselben.
Fünf Fälle aus der Ablage
- Scans ohne Textebene, aus denen sich kein Wort auslesen lässt.
- Maßtabellen, die als Bild im PDF stecken.
- Zeichnungen, deren Aussage in der Bemaßung liegt und nicht im Text.
- Handbücher mit Kürzeln, die nur im Haus jemand auflöst.
- Dateinamen, an denen niemand erkennt, welche Fassung gilt.
Wo es bricht: das Zerteilen
Kein Modell bekommt das ganze Handbuch vorgelegt. Es bekommt Ausschnitte, und die müssen vorher geschnitten werden. Dieser Schnitt heißt Chunking, und er ist die Stelle, an der ein System leise ungenau wird.
Einen richtigen Wert, den man einmal einstellt, gibt es nicht. Was es gibt, ist ein Satz echter Fragen. Sammeln Sie zwanzig Fragen, die Menschen im Haus wirklich stellen, notieren Sie die zugehörige richtige Antwort und lassen Sie diese zwanzig nach jeder Änderung erneut laufen. Ohne diesen Satz bleibt jede Umstellung am Zuschnitt Geschmackssache.
Drei Schnittfehler kommen dabei immer wieder vor, und alle drei sieht man erst an der Antwort.
Drei Schnittfehler
- Zu klein. Der Zusammenhang fehlt. Ein Absatz sagt „gilt nicht für die Baureihe 3“, aber im Stück steht nicht mehr, wofür er gilt.
- Zu groß. Der Treffer verwässert. Das gesuchte Detail steht darin, daneben stehen vier andere Themen, und das Modell greift das falsche auf.
- Quer durch eine Tabelle. Die Zeile verliert ihre Spaltenüberschrift, und aus einem Preis je Meter wird ein Preis je Stück.
Wo es bricht: die erfassten Werte
Ein System, das nur Text kennt, findet die Stelle, an der eine Zahl steht. Es kann nicht sagen, welche Baureihe sechzehn bar hält, weil dafür alle Datenblätter verglichen werden müssten und nicht nur die passendsten fünf.
Wer das braucht, legt vorher fest, welche Werte aus welchem Dokumenttyp herausgeholt werden. Diese Felder stehen dann neben dem Text, und eine Frage nach einem Wert läuft über sie statt über die Ähnlichkeitssuche.
Woran Sie es im Alltag merken
- Fragen nach dem Günstigsten, dem Größten oder dem Neuesten bleiben ohne Antwort
- Eine Artikelnummer findet das falsche Blatt, weil eine ähnliche Nummer näher lag
- Auf „welche Anlagen sind betroffen" kommt eine Anlage statt einer Liste
Wo es bricht: die Rechte
Der Index ist eine Kopie Ihrer Unterlagen. Er erbt die Rechte des Dateiservers nicht mit. Wer nichts weiter tut, hat am Ende einen durchsuchbaren Bestand, in dem alles für alle liegt, auch der Ordner der Personalabteilung.
Anmeldung und Rechte sind zwei verschiedene Dinge, und sie werden regelmäßig verwechselt. Die Anmeldung klärt, wer fragt. Wir führen sie über den Verzeichnisdienst, den es schon gibt, in einem Fall über Microsoft Entra ID mit OAuth und OIDC, damit niemand eine zweite Benutzerverwaltung pflegen muss. Das ist überschaubarer Aufwand.
Die Rechte klären, was dieser Mensch sehen darf. Dafür muss jedes Textstück im Index seine Berechtigung mitführen, und der Retriever muss danach filtern, bevor er etwas an das Modell gibt.
Bei dem Armaturenhersteller liefert Entra ID Anmeldung und Gruppen. Eine Rechtesteuerung auf Dokumentebene ist daraus bis zum letzten belegten Stand nicht entstanden, sie war als eigener Schritt vorgesehen. Das ist der übliche Verlauf. Planen Sie ihn ein, statt sich davon überraschen zu lassen.
Die Skizze stellt beides nebeneinander: links der Zustand, der ohne weiteres Zutun entsteht, rechts der, in dem jedes Textstück seine Berechtigung mitführt und der Retriever danach filtert, bevor das Modell etwas zu sehen bekommt.
Links erreicht dieselbe Frage jedes Stück im Index, rechts trägt jedes Stück seine Berechtigung und der Retriever lässt nur das eine durch, das dieser Mensch sehen darf.
Wo es bricht: die Aktualität
Zwischen dem Dokument und dem Index liegt ein Zeitpunkt. Wird die Preisliste am Montag geändert und der Index am Freitag erneuert, antwortet das System vier Tage lang mit alten Werten. Und zwar mit einer Quellenangabe darunter, die Verlässlichkeit suggeriert.
Drei Fragen gehören deshalb vor den Bau. Antwortet auf die erste niemand, liegt dort die Aufgabe und nicht bei der Modellauswahl.
Links wird die Datei am Montag geändert, rechts zieht der Index am Freitag nach, und dazwischen liegen die Tage, in denen die Auskunft mit Quellenangabe den alten Wert nennt.
Drei Fragen vor dem Bau
- Wer liest eine geänderte Datei ein, und wie schnell.
- Was geschieht mit einem gelöschten Dokument. Verschwindet es nur aus dem Ordner und nicht aus dem Index, antwortet das System weiter daraus.
- Steht der Stand der Quelle in der Antwort, damit ein Leser das Datum sehen kann.
Der Index erbt keine Rechte
Der Index ist eine Kopie Ihrer Unterlagen. Die Berechtigungen des Dateiservers kommen dabei nicht mit.
Wer nichts weiter tut, hat am Ende einen durchsuchbaren Bestand, in dem alles für alle lesbar ist. Jedes Textstück muss seine Berechtigung selbst mitführen, und der Retriever muss danach filtern, bevor das Modell etwas zu sehen bekommt.
Ein Wissenssystem aus Ihren eigenen Unterlagen
Genau die Bauweise aus diesem Text, entwickelt an Ihren Dokumenttypen. Pilotprojekt für eine Abteilung, nach drei Wochen läuft es.
Weiterlesen
- Technische Dokumentation durchsuchbar machen Der Bericht zum Fall: was gebaut wurde, womit, seit wann es läuft und was offen geblieben ist.
- Wissenssysteme Was ein Aufbau umfasst, in welchen Schritten er läuft und was die Stufen kosten.
- KI-Standortbestimmung Voranalyse, zwei Intensivtage und ein schriftlicher Fahrplan, bevor Technik gebaut wird.