Retrieval Augmented Generation (RAG)

Retrieval Augmented Generation (RAG) Retrieval Augmented Generation, kurz RAG, ist eine Methode, die einem Sprachmodell erlaubt, vor der Antwort in externen Quellen nachzuschlagen, statt sich allein auf sein Training zu verlassen. Das System sucht zur Nutzerfrage die passenden Textstellen aus deinen Dokumenten und gibt sie dem Modell als Grundlage mit. So beantwortet die KI Fragen zu deiner Preisliste oder deinen internen Richtlinien korrekt, ohne dass du das Modell dafür neu trainieren musst. Der kritische Schritt dabei ist die Suche: Findet das System die falsche Textstelle, wird auch die Antwort falsch.

Was Retrieval Augmented Generation ist

Ein Sprachmodell klingt inzwischen erstaunlich eloquent. Was dabei gern untergeht: Es hat keine Ahnung von deinem Business. Es kennt weder deine Preisliste von letztem Quartal noch deine internen Support-Richtlinien. Retrieval Augmented Generation, kurz RAG, ist die Antwort auf genau dieses Gedächtnisproblem.

Kurz gesagt: RAG erlaubt dem Modell, in externen Quellen nachzuschlagen, bevor es antwortet. Ohne RAG muss ein Standard-LLM alles auswendig wissen, und was es nicht weiß, erfindet es oft einfach dazu. Mit RAG darf das Modell wie in einem Fachbuch nachschlagen, in deinen eigenen Unternehmensdaten. Es liest die passende Stelle und gibt die Fakten wieder, statt zu raten. Das Ergebnis ist eine KI, die nicht nur schöne Sätze bildet, sondern auf Basis deines Wissens faktisch korrekt antwortet, ohne dass du das Modell dafür teuer neu trainierst.

Viele Einsteiger verwechseln das mit Training. Bei RAG bleiben die Daten sicher in deiner Datenbank. Das System gibt dem Modell per Prompt nur temporär den passenden Textauszug zum Lesen, für genau diese eine Anfrage. Das spart Rechenkosten und hält deine Daten sauber getrennt vom Modell selbst.

Warum ein Modell überhaupt nachschlagen muss

Jedes Sprachmodell hat ein Verfallsdatum, den sogenannten Knowledge Cutoff. Alles, was danach passiert, existiert für die KI schlicht nicht. Dazu kommt: Sprachmodelle sind probabilistisch, sie berechnen Wahrscheinlichkeiten für das nächste Wort und prüfen dabei keine Fakten.

Das führt zu Halluzinationen. Die KI erzählt kompletten Unsinn, mit einem Selbstbewusstsein, das jeden Vertriebler neidisch machen würde. RAG zwingt das Modell, seine Kreativität auf die Fakten zu beschränken, die du ihm lieferst. Es ist die Lesebrille, durch die das Modell auf deine eigenen Daten schaut, statt sich auf sein antrainiertes Wissen zu verlassen.

Wie die RAG-Architektur funktioniert

Die Logik dahinter ist simpel und lässt sich in drei Schritten beschreiben. Das Ziel bleibt immer dasselbe: die Frage des Nutzers mit echtem Wissen anreichern, bevor die KI antwortet.

1. Frage: Der Nutzer fragt, zum Beispiel nach den aktuellen Lieferbedingungen für ein bestimmtes Produkt.
2. Suche: Das System durchsucht deine Dokumente im Hintergrund nach dem Absatz, der genau das erklärt.
3. Antwort: Das System reicht die gefundene Textstelle zusammen mit der Frage an das Modell weiter und gibt ihm die Anweisung, diese Information für die Antwort zu nutzen.

Der kritische Punkt ist die Suche. Findet das System die falsche Textstelle, wird auch die Antwort falsch, egal wie gut das Modell dahinter ist. Die Qualität von RAG entscheidet sich also nicht am Modell, sondern an der Suchlogik davor.

Die Pipeline: von Chunking bis Vektorsuche

Damit ein System deine PDF-Handbücher überhaupt durchsuchen kann, müssen sie durch eine RAG-Pipeline. Das klingt technisch, ist im Kern aber Handwerk.

Am Anfang steht das Chunking: Deine Dokumente werden in kleine, sinnvolle Häppchen zerlegt, weil ein Modell nicht sinnvoll ein ganzes Buch auf einmal lesen kann. Wie diese Zerlegung genau abläuft und wo sie schiefgeht, steht im eigenen Eintrag dazu.

Danach kommt die Vektorisierung, und das ist der eigentliche Trick hinter RAG. Ein Computer versteht keine Wörter, er versteht Zahlen. Ein Embedding-Modell wandelt jeden Chunk in eine lange Zahlenreihe um, ein sogenanntes Embedding. Diese Zahlen repräsentieren die Bedeutung des Textes, nicht seine exakte Formulierung. Zwei Textstellen, die dasselbe meinen, aber unterschiedliche Wörter benutzen, landen dadurch nah beieinander im Zahlenraum. Genau das macht die semantische Suche möglich: Zur Frage nach "Auto" findet das System auch den Chunk mit "PKW", weil beide Embeddings nah beieinander liegen.

Diese Zahlenreihen lagern in einer Vektordatenbank, im Grunde ein riesiger, mehrdimensionaler Aktenschrank für deine Dokumente. Stellt ein Nutzer eine Frage, wird auch sie in ein Embedding umgerechnet, und die Datenbank sucht die Chunks, die im Zahlenraum am nächsten liegen. Was nah beieinander liegt, gehört inhaltlich zusammen. Ohne diesen Schritt wäre RAG nur eine simple Stichwortsuche, und die trifft in der Praxis regelmäßig daneben.

Was mit dem Gefundenen im Prompt passiert

Die Vektorsuche liefert am Ende eine Handvoll Chunks, meist die drei bis zehn ähnlichsten Treffer, sortiert nach Relevanz. Diese Treffer landen nicht irgendwo im Hintergrund. Sie werden direkt in den Prompt geschrieben, zusammen mit der ursprünglichen Frage und meist einer Anweisung wie "Beantworte die Frage ausschließlich auf Basis der folgenden Auszüge". Das Modell sieht diesen zusammengesetzten Prompt als eine einzige Eingabe, es merkt nicht, dass ein Teil davon aus einer Datenbank kommt und der andere vom Nutzer stammt.

Genau hier trifft RAG auf ein zweites Thema: das Context Window des Modells. Jeder eingefügte Chunk kostet Platz im begrenzten Kontextfenster, und zu viele Treffer verwässern die Antwort genauso wie zu wenige sie unvollständig machen. Wie viele Chunks sinnvoll sind und wie man sie im Prompt anordnet, ist eine der praktischen Stellschrauben, an denen ein RAG-System am Ende steht oder fällt.

RAG vs. Fine-Tuning

Hier verbrennen Unternehmen gerne Budget. "Müssen wir das Modell nicht einfach auf unsere Daten trainieren?" Meistens lautet die Antwort: nein.

Fine-Tuning ist wie das Lernen für eine Prüfung. Du veränderst das Modell selbst dauerhaft, indem du seine Gewichte neu trainierst. Das ist teuer, langsam, und das trainierte Wissen ist veraltet, sobald sich deine Daten ändern. Fine-Tuning eignet sich gut, um einem Modell einen Stil beizubringen, etwa "sprich wie ein Arzt", aber schlecht dafür, ihm Fakten beizubringen.

RAG ist eher der Spickzettel. Das Modell bleibt, was deine Daten angeht, dumm, weiß aber, wo der Zettel liegt. Ändert sich ein Preis, tauschst du das Dokument aus, kein Neutraining nötig. Für die meisten Unternehmen, die ihre KI mit aktuellem Fachwissen füttern wollen, ist das der pragmatischere Weg.

Wo RAG in der Praxis scheitert

RAG löst das Halluzinations-Problem nicht vollständig, es drückt nur das Risiko. Drei Stellen brechen in der Praxis am häufigsten.

Erstens ist es die Suche selbst: Liefert die Vektorsuche eine thematisch ähnliche, aber inhaltlich falsche Textstelle, übernimmt das Modell diesen Fehler. Es tut das mit demselben Selbstbewusstsein wie bei einer korrekten Antwort. Zweitens ist es die Datenqualität: Steht im Ausgangsdokument Unsinn oder ein veralteter Stand, liefert auch die sauberste Architektur Unsinn zurück. Drittens ist es das Chunking selbst: Wird ein Absatz an der falschen Stelle durchtrennt, verliert der Chunk seinen Zusammenhang, und die Suche findet ihn entweder gar nicht oder gibt ihn ohne den nötigen Kontext weiter.

Bevor du also in teure Lizenzen für eine RAG-Plattform investierst, lohnt sich der Blick auf die eigenen Dokumente. Strukturierte, aktuelle und sauber geschnittene Quellen entscheiden mehr über die Antwortqualität als die Wahl der Vektordatenbank dahinter.

GraphRAG und Agentic RAG als nächster Schritt

Einfaches RAG sucht Listen ähnlicher Dokumente. GraphRAG geht weiter und versteht Verbindungen zwischen Inhalten über einen Wissensgraphen. Fragst du "Welche Auswirkung hat Teil A auf Projekt B?", findet GraphRAG die Verbindung zwischen beiden, statt nur Texte auszuspucken, in denen beide Begriffe zufällig vorkommen.

Die zweite Entwicklung ist Agentic RAG. Klassisches RAG ist passiv: Frage rein, Antwort raus, einmal gesucht, fertig. Bei Agentic RAG merkt das System selbst, wenn die erste Suche nicht reicht, und sucht eigenständig weiter oder fragt gezielt nach, ähnlich wie ein KI-Agent mehrere Schritte plant, bevor er eine Aufgabe abschließt. Aus dem einmaligen Suchschlitz wird so ein System, das so lange nachrecherchiert, bis die Antwort trägt.

Warum Unternehmen auf RAG setzen

Von der Technik abgesehen sprechen für Unternehmen vor allem drei Gründe.

Datenschutz ist der erste. Sensible Daten müssen nicht zum Training an einen externen Anbieter. Sie bleiben in deiner eigenen Datenbank und werden nur im Moment der Anfrage kurz verarbeitet.

Aktualität ist der zweite. Du kannst nicht jede Woche ein Modell neu trainieren, aber bei RAG lädst du einfach das neue PDF hoch, und der nächste Chat nutzt sofort die neuen Informationen.

Nachvollziehbarkeit ist der dritte. Ein Sprachmodell ist normalerweise eine Blackbox. RAG kann dagegen sagen, aus welchem Dokument und welcher Seite eine Antwort stammt, was Vertrauen schafft, gerade wenn jemand eine Antwort im Zweifel selbst nachprüfen will.

Retrieval Augmented Generation ist damit die Brücke zwischen der Sprachfähigkeit eines Modells und deinem eigenen Unternehmenswissen. Mehr zum Glossar der KI-Begriffe findest du in der Übersicht, unter anderem zu Chunking und Context Engineering, die beide direkt in die RAG-Pipeline hineinspielen.

Zurück zum AI und Automation Glossar.