RAG (Retrieval-Augmented Generation).

RAG steht für Retrieval-Augmented Generation, also Texterzeugung, die durch einen vorherigen Abruf von Informationen ergänzt wird. Der Begriff geht auf ein Forschungspapier von Patrick Lewis und Kollegen zurück, das 2020 auf der Konferenz NeurIPS angenommen wurde. Die Idee: Ein Sprachmodell antwortet nicht nur aus dem, was es im Training gelernt hat, sondern bekommt zu jeder Frage passende Textstellen aus einer externen Wissensquelle. Für Unternehmen ist das der übliche Weg, Handbücher, Richtlinien oder Produktdaten an eine KI anzubinden, ohne ein Modell neu zu trainieren.

So funktioniert RAG

Zuerst werden eure Dokumente zerlegt und durchsuchbar gemacht. Anthropic beschreibt den üblichen Ablauf so: Die Wissensbasis wird in kurze Abschnitte von meist höchstens einigen hundert Tokens geteilt. Ein sogenanntes Embedding-Modell übersetzt jeden Abschnitt in einen Zahlenvektor, der seine Bedeutung abbildet, und die Vektoren landen in einer Vektordatenbank. Stellt jemand eine Frage, sucht das System die inhaltlich ähnlichsten Abschnitte heraus und fügt sie dem Prompt hinzu.

Laut AWS kann die Antwort dann Quellenangaben enthalten, sodass Nutzer im Originaldokument nachlesen können. Ändern sich Dokumente, müssen laut AWS auch die gespeicherten Vektoren aktualisiert werden, regelmäßig oder automatisch.

What You Should Keep in Mind at Work

Prüft zuerst, ob ihr RAG überhaupt braucht. Anthropic schreibt in einem Beitrag vom September 2024, dass eine Wissensbasis unter 200.000 Tokens, also etwa 500 Seiten, auch komplett in den Prompt passen kann. Für ein überschaubares Regelwerk ist das oft einfacher als eine eigene Suche.

Übertragt die Zugriffsrechte aus euren Quellsystemen. OWASP warnt in seiner Liste der Risiken für KI-Anwendungen, dass unzureichende Zugriffskontrollen in RAG-Systemen vertrauliche oder personenbezogene Daten an die falschen Personen ausgeben können. OWASP empfiehlt Vektordatenbanken, die Berechtigungen kennen, und eine strikte Trennung der Datenbestände. Die Gehaltsrichtlinie der Personalabteilung gehört also nicht in denselben Suchindex wie das Vertriebshandbuch.

Klärt den Datenschutz, bevor Dokumente euer Haus verlassen. Verarbeitet ein externer Anbieter personenbezogene Daten in eurem Auftrag, verlangt Artikel 28 DSGVO einen Vertrag zur Auftragsverarbeitung. Wo Vektordatenbank und Modell laufen, gehört deshalb früh ins Lastenheft.

Räumt die Wissensbasis auf, bevor ihr sie anbindet. OWASP nennt widersprüchliche Quellen ausdrücklich als Fehlerquelle. In Projekten sehen wir oft, dass mehrere Fassungen derselben Richtlinie auf dem Laufwerk liegen und die KI dann eine veraltete zitiert.

Häufige Fragen zu RAG

Verhindert RAG Halluzinationen? Es verringert sie, verhindert sie aber nicht. Findet die Suche den falschen Abschnitt, kann das Modell trotzdem danebenliegen. Anthropic hat gezeigt, dass schon der Suchschritt eine eigene Fehlerquelle ist, und die Zahl fehlgeschlagener Suchen mit einer verbesserten Methode um 49 Prozent gesenkt. Mehr dazu unter Halluzination.

Ist RAG dasselbe wie Fine-Tuning? Nein. Beim Fine-Tuning wird das Modell selbst nachtrainiert. Laut AWS ist RAG der kostengünstigere Weg, neues Wissen einzubringen, weil das Neutrainieren großer Modelle teuer ist.

Welche Dokumente eignen sich? Texte, die konkrete Fragen beantworten: Handbücher, Richtlinien, Produktdatenblätter oder Ablaufbeschreibungen. Je klarer ein Dokument gegliedert ist, desto besser findet die Suche den passenden Abschnitt.

Wie ihr euer Firmenwissen mit passenden Rechten an eine KI anbindet, zeigen wir bei KI für Unternehmen.