RAG

Was ist RAG?

RAG steht für Retrieval-Augmented Generation — auf Deutsch: abrufgestützte Textgenerierung. Es ist eine Technik, bei der ein [[llm|Sprachmodell]] vor dem Formulieren einer Antwort in einer externen Wissensdatenbank nachschlägt, ähnlich wie ein Mitarbeiter, der vor der Antwort erst im Handbuch nachsieht.

Das grundlegende Problem ohne RAG: Sprachmodelle wurden auf Daten trainiert, die irgendwann in der Vergangenheit enden. Sie wissen nichts über interne Dokumente, aktuelle Preislisten, neue Gesetze oder firmeninterne Prozesse.

RAG löst dieses Problem: Das System durchsucht eine Dokumentendatenbank, findet relevante Textpassagen und gibt diese als Kontext an das Sprachmodell. Das Modell antwortet dann auf Basis dieser Dokumente — nicht aus seinem Trainingsgedächtnis.

Wie funktioniert RAG technisch?

1. Indexierung: Dokumente werden in kleine Textabschnitte (Chunks) zerlegt und als mathematische Einbettungen (Embeddings) in einer Vektordatenbank gespeichert.
2. Anfrage: Der Nutzer stellt eine Frage.
3. Retrieval: Das System sucht in der Vektordatenbank nach den relevantesten Chunks.
4. Augmentation: Die gefundenen Textpassagen werden dem [[prompt-engineering|Prompt]] als Kontext beigefügt.
5. Generation: Das Sprachmodell generiert eine Antwort auf Basis dieses Kontexts.

Anwendungsbeispiele für KMU

• Interner Wissens-Chatbot: KI, die auf Basis eigener Handbücher, Protokolle und Verträge antwortet
• Produkt-FAQ-Bot: Immer aktuelle Preisinformationen und Produktdetails aus der eigenen Datenbank
• Kundenservice-Assistent: Antwortet auf Basis echten Produkt-Know-hows, nicht allgemeiner Trainingsdaten
• Rechtliche Compliance: Prüfungen gegen aktuelle interne Richtlinien und externe Vorschriften

RAG vs. Fine-Tuning

Fine-Tuning bedeutet, das Modell selbst mit eigenen Daten neu zu trainieren. Das ist teuer, zeitaufwändig und muss wiederholt werden, wenn sich Daten ändern.

RAG ist günstiger, flexibler und aktualisierbar — und liefert nachvollziehbare Antworten mit Quellenangaben.

Grenzen

RAG findet relevante Passagen — kann aber keine komplexen Schlussfolgerungen über viele Dokumente gleichzeitig ziehen. Die Qualität hängt stark von der Qualität und Struktur der indexierten Dokumente ab.

RAG ist eine der praktischsten KI-Techniken für KMU: Sie macht beliebige Wissensdatenbanken für KI zugänglich — ohne dass das Modell neu trainiert werden muss.