Retrieval-Augmented Generation (RAG) ist ein Verfahren, bei dem ein KI-System vor der Textgenerierung relevante Informationen aus externen Quellen abruft. Die gefundenen Inhalte werden dem Large Language Model als Kontext übergeben. Dadurch kann das Modell auf aktuelle, interne oder fachliche Daten eingehen und die verwendeten Quellen für eine Überprüfung mitführen.
Was ist Retrieval-Augmented Generation?
Der Name beschreibt drei aufeinanderfolgende Aufgaben: Retrieval findet passende Informationen, Augmentation ergänzt die Benutzerfrage um diesen Kontext und Generation lässt ein Sprachmodell daraus eine Antwort formulieren.
Ein Large Language Model speichert keine verlässliche Faktendatenbank. Es berechnet wahrscheinliche Textfolgen anhand gelernter Muster. RAG ergänzt diesen Prozess um eine zur Laufzeit durchsuchbare Wissensbasis. Diese kann aus Handbüchern, Webseiten, Verträgen, Supportartikeln, Datenbanken oder freigegebenen Unternehmensdokumenten bestehen.
Die grundlegende Forschungsarbeit von Lewis et al. kombinierte parametrisches Wissen eines Sprachmodells mit einem externen, nicht parametrischen Speicher. Moderne Enterprise-RAG-Systeme verwenden den Begriff breiter für Architekturen, die Informationssuche und generative Modelle verbinden.
Warum ist Retrieval-Augmented Generation wichtig?
Unternehmen besitzen viel relevantes Wissen, das nicht Teil des ursprünglichen Modelltrainings ist: interne Richtlinien, aktuelle Produktinformationen, Projektdokumentation oder kundenspezifische Verträge. Ein allgemeines LLM kennt diese Informationen entweder nicht oder nur in einem veralteten Stand.
RAG trennt Sprachfähigkeit und Fachwissen. Das Modell formuliert; die Wissensquellen liefern den aktuellen Kontext. Ändert sich eine Richtlinie, kann das Dokument neu indexiert werden, ohne ein eigenes Basismodell neu zu trainieren. Für nachvollziehbare Geschäftsanwendungen ist zudem entscheidend, dass Antworten auf konkrete Fundstellen verweisen können.
Was sind die Vorteile von Retrieval-Augmented Generation?
Aktuelles Wissen
Quellen lassen sich aktualisieren oder entfernen, ohne das Sprachmodell neu zu trainieren.
Eigene Daten
Freigegebene Unternehmensinformationen werden für natürliche Fragen nutzbar.
Nachvollziehbarkeit
Antworten können Fundstellen nennen, die Fachpersonen direkt überprüfen.
Modellaustausch
Wissensbasis und LLM bleiben getrennt; ein Modellwechsel ist dadurch oft einfacher.
Diese Vorteile entstehen nicht automatisch. Datenqualität, Berechtigungen, Retrieval, Prompting und Evaluation bestimmen, ob ein RAG-System in der Praxis verlässlich genug ist. Eine ausführliche geschäftliche Einordnung bietet Vorteile und Nachteile von RAG.
Wie funktioniert Retrieval-Augmented Generation?
1. Daten aufbereiten und indexieren
Dokumente werden gelesen, bereinigt und in sinnvolle Textabschnitte – sogenannte Chunks – zerlegt. Ein Embedding-Modell übersetzt jeden Abschnitt in einen Vektor. Text und Metadaten wie Quelle, Titel, Mandant oder Berechtigung werden gemeinsam gespeichert.
2. Relevante Informationen abrufen
Die Benutzerfrage wird ebenfalls eingebettet. Eine Vektorsuche findet semantisch ähnliche Abschnitte. Produktionssysteme kombinieren dies häufig mit einer lexikalischen Suche, damit auch exakte Produktcodes, Namen oder Fachbegriffe zuverlässig gefunden werden.
3. Kontext auswählen und absichern
Das System filtert Treffer nach Mandant und Berechtigung, entfernt schwache oder redundante Ergebnisse und baut ein begrenztes Kontextpaket. Dokumentinhalt muss dabei als nicht vertrauenswürdige Daten behandelt werden, damit eingebettete Anweisungen keinen Systemprompt überschreiben.
4. Antwort generieren und prüfen
Das LLM erhält Frage, Regeln und ausgewählte Quellen. Es formuliert eine Antwort und ordnet Aussagen den bereitgestellten Fundstellen zu. Nachgelagerte Prüfungen können ungültige Zitate, personenbezogene Daten oder Antworten ohne ausreichende Grundlage zurückweisen.
Was ist der Unterschied zwischen einem LLM und RAG?
Ein Large Language Model ist das generative Sprachmodell. RAG ist eine zusätzliche Systemarchitektur rund um ein solches Modell. Es handelt sich daher nicht um zwei konkurrierende Modelltypen.
| Kriterium | LLM ohne Retrieval | LLM mit RAG |
|---|---|---|
| Wissensbasis | Training und bereitgestellter Prompt | Zusätzlich externe Quellen zur Laufzeit |
| Aktualisierung | Neuer Prompt, neues Modell oder Fine-Tuning | Dokumente neu indexieren |
| Interne Daten | Nur wenn vollständig im Prompt enthalten | Gezielte Suche in freigegebenen Quellen |
| Quellennachweis | Oft nicht verfügbar | Fundstellen können mitgegeben werden |
| Fehlerrisiko | Unbelegte Antworten möglich | Reduzierbar, aber nicht ausgeschlossen |
Typische Anwendungen von RAG
Interner Wissensassistent
Fragen zu Richtlinien, Prozessen, Produkten oder Projektdokumenten beantworten.
Support-Unterstützung
Passende Handbuchstellen und bekannte Lösungen für eine Anfrage zusammenstellen.
Vertrags- und Dokumentensuche
Passagen über viele Dokumente hinweg semantisch finden und vergleichbar machen.
Technische Dokumentation
APIs, Architekturentscheidungen und Betriebswissen per natürlicher Sprache erschliessen.
Compliance und Qualität
Antworten mit kontrollierten Quellen und klaren Berechtigungsgrenzen unterstützen.
Lernen und Prüfung
Erklärungen mit definierten Lernquellen verbinden und Fundstellen sichtbar machen.
Welche Grenzen und Risiken hat RAG?
- Schlechtes Retrieval: Wird die richtige Quelle nicht gefunden, kann das LLM sie nicht verwenden.
- Ungeeignete Quellen: Veraltete oder widersprüchliche Dokumente führen zu schwachen Antworten.
- Halluzinationen: Ein Modell kann Kontext weiterhin falsch interpretieren oder ergänzen.
- Berechtigungen: Eine Vektordatenbank darf bestehende Zugriffsrechte nicht umgehen.
- Prompt Injection: Dokumente können manipulative Anweisungen enthalten.
- Evaluation: Gute Einzelfälle beweisen noch keine stabile Qualität über reale Fragen hinweg.
RAG ist besonders ungeeignet, wenn eine Aufgabe deterministisch berechnet werden muss, die Datenqualität unkontrolliert ist oder eine falsche Antwort ohne menschliche Prüfung erhebliche Folgen hätte.
Häufige Fragen zu Retrieval-Augmented Generation
Verhindert RAG Halluzinationen vollständig?
Nein. RAG kann unbelegte Antworten reduzieren, sofern relevante und korrekte Quellen gefunden werden. Eine belastbare Lösung braucht zusätzlich Qualitätsmessung, Guardrails und je nach Risiko menschliche Freigaben.
Braucht RAG immer eine Vektordatenbank?
Nein. Retrieval kann auch über Volltextsuche, SQL, Suchmaschinen, APIs oder Wissensgraphen erfolgen. Vektorsuche ist beliebt, weil sie semantisch ähnliche Inhalte findet. Häufig ist eine hybride Kombination besser.
Ist RAG dasselbe wie Fine-Tuning?
Nein. RAG stellt Wissen zur Laufzeit bereit. Fine-Tuning verändert das Verhalten oder die Gewichtungen eines Modells. Die Entscheidung erläutert RAG oder Fine-Tuning?.
Quellen und weiterführende Dokumentation
Retrieval-Augmented Generation live erleben
In der Allerate-Demo importieren Sie öffentliche Quellen und sehen, wie daraus Text-Chunks, Retrieval-Treffer und quellenbasierte Antworten entstehen.