RAG (Retrieval Augmented Generation)
RAG ist ein Verfahren, bei dem ein Sprachmodell vor jeder Antwort gezielt Informationen aus firmeneigenen Dokumenten abruft, statt aus seinem allgemeinen Training zu antworten.
Das macht Antworten faktenbasierter und nachvollziehbar: Der KI-Mitarbeiter zitiert quasi aus der internen Wissensdatenbank, anstatt zu halluzinieren.
Im Mittelstand wird RAG genutzt, um Vertragsdaten, Preislisten, Handbücher oder Wissensdokumente für Mitarbeiter und Kunden schnell auffindbar zu machen.
Worin es sich unterscheidet
Fine-Tuning: Fine-Tuning verändert das Modell selbst und muss bei neuen Inhalten wiederholt werden. RAG lässt das Modell unverändert und legt ihm die passenden Dokumente zur Laufzeit vor. Für Inhalte, die sich häufig ändern, etwa Preise oder Verträge, ist RAG in der Regel der praktikablere Weg.
Embedding: Embeddings sind ein Bestandteil von RAG, nicht dasselbe. Sie machen Texte vergleichbar, damit das System die passenden Stellen findet. RAG beschreibt den gesamten Ablauf aus Suchen, Zusammenstellen und Antworten.
Was das für einen mittelständischen Betrieb bedeutet
RAG ist der übliche Weg, damit eine KI mit dem Wissen des eigenen Hauses arbeitet statt mit Allgemeinwissen aus dem Internet. Die Qualität hängt fast vollständig an der Ordnung der Dokumente.
Vor dem Aufbau steht deshalb eine unangenehme, aber notwendige Frage: Welche Fassung eines Dokuments gilt, und wo liegen veraltete Stände. Wenn drei Preislisten im Umlauf sind, zitiert das System irgendwann die falsche.
Zugriffsrechte müssen mit abgebildet werden. Ein Mitarbeiter darf über die Suche keine Dokumente zu sehen bekommen, die er in der Ablage nicht öffnen dürfte.
Der Aufwand liegt weniger in der Technik als in der Pflege: neue Dokumente aufnehmen, alte aussortieren, Zuständigkeit festlegen.
Ein Beispiel aus dem Alltag
Ein Elektrobetrieb hat über Jahre Montageanleitungen, Herstellerdatenblätter und interne Arbeitsanweisungen in Ordnern auf dem Server abgelegt. Wer eine bestimmte Klemmenbelegung sucht, fragt bisher den Kollegen mit der längsten Betriebszugehörigkeit.
Mit RAG stellt ein Monteur die Frage in normaler Sprache und bekommt die Antwort mit Verweis auf das Dokument und die Seite. Findet das System keine passende Stelle, gibt es keine Antwort aus, sondern meldet, dass keine Quelle vorliegt.
Häufige Fragen
Muss ich meine Dokumente vorher aufräumen?
Zumindest muss klar sein, welche Fassung gilt. Ein System, das alte und neue Stände gleichwertig durchsucht, liefert widersprüchliche Antworten, und das Vertrauen ist danach schwer wiederherzustellen.
Kann RAG auch gescannte Dokumente verarbeiten?
Ja, wenn vorher eine Texterkennung darüberläuft. Die Erkennungsqualität bei Scans und Handschrift bestimmt dann, wie gut die spätere Suche funktioniert.
Bleiben die Dokumente im Haus?
Das hängt vom Aufbau ab. Üblich ist eine Verarbeitung innerhalb der EU mit vertraglicher Absicherung, bei besonders sensiblen Beständen auch ein Betrieb in der eigenen Umgebung.
Verhindert RAG falsche Antworten vollständig?
Nein, aber es reduziert sie deutlich und macht Antworten überprüfbar, weil die Quelle mitgeliefert wird. Eine Stichprobenkontrolle bleibt in der Anfangszeit sinnvoll.
Synonyme und verwandte Begriffe
Retrieval Augmented Generation