In fast jedem Unternehmen liegt das wertvollste Wissen verstreut: in Handbüchern, Verträgen, Ticketsystemen, Protokollen und den Köpfen langjähriger Mitarbeiter. Allgemeine KI-Assistenten kennen davon nichts. Retrieval-Augmented Generation, kurz RAG, schließt diese Lücke – und entwickelt sich zur wichtigsten Brücke zwischen Sprachmodellen und dem eigenen Unternehmenswissen.
Die Idee: Erst nachschlagen, dann antworten
Der Begriff geht auf eine Arbeit von Patrick Lewis und Kollegen zurück, die 2020 bei arXiv veröffentlicht und auf der Konferenz NeurIPS 2020 vorgestellt wurde: „Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks“. Die Autoren beschrieben ein grundlegendes Problem großer Sprachmodelle: Sie speichern Faktenwissen zwar in ihren Parametern, können dieses Wissen aber nur eingeschränkt gezielt abrufen, aktualisieren oder belegen.
Ihr Lösungsansatz kombiniert zwei Arten von Gedächtnis. Das Sprachmodell liefert Sprachverständnis und Formulierung, ein separater Suchindex – im Experiment eine Sammlung von Wikipedia-Texten – liefert die Fakten. Die Forscher berichteten, dass so erzeugte Antworten spezifischer und faktentreuer ausfielen als bei Modellen ohne externe Wissensquelle. Zudem lässt sich nachvollziehen, woher eine Information stammt.
Für Unternehmen ist genau dieses Prinzip interessant: Das Modell muss das Firmenwissen nicht auswendig lernen. Es schlägt im richtigen Moment nach.
So funktioniert RAG in der Praxis
Hinter dem Kürzel steckt eine Abfolge überschaubarer Schritte:
- Dokumente sammeln: Handbücher, Richtlinien, Produktdatenblätter, Verträge oder Wiki-Seiten werden aus den vorhandenen Systemen zusammengeführt.
- In Abschnitte zerlegen: Lange Dokumente werden in kleinere Textabschnitte geteilt, damit später gezielt die passende Passage gefunden wird statt eines ganzen Ordners.
- In Zahlenvektoren übersetzen: Jeder Abschnitt wird in eine mathematische Darstellung seiner Bedeutung umgewandelt, ein sogenanntes Embedding, und in einer Vektordatenbank abgelegt.
- Passende Stellen suchen: Stellt ein Mitarbeiter eine Frage, wird auch sie in einen Vektor übersetzt. Das System findet die inhaltlich ähnlichsten Abschnitte – auch dann, wenn andere Wörter verwendet werden.
- Antwort mit Beleg erzeugen: Die gefundenen Passagen werden dem Sprachmodell zusammen mit der Frage übergeben. Es formuliert eine Antwort und verweist im Idealfall auf die Quelldokumente.
Der letzte Punkt ist aus Managementsicht entscheidend. Eine Antwort mit Quellenangabe lässt sich prüfen. Eine Antwort ohne Beleg muss man glauben.
Warum RAG statt Feintuning?
Die Alternative zu RAG ist das Feintuning: Ein Modell wird mit eigenen Daten nachtrainiert. Das kann sinnvoll sein, wenn ein Modell einen bestimmten Stil, ein Fachvokabular oder ein festes Antwortformat lernen soll. Als Wissensspeicher für ein Unternehmen hat der Ansatz jedoch Nachteile.
Wissen ändert sich laufend – Preise, Produktversionen, interne Richtlinien. Bei RAG genügt es, ein Dokument im Index zu aktualisieren oder zu löschen. Ein feingetuntes Modell müsste dagegen erneut trainiert werden. Hinzu kommt die Nachvollziehbarkeit: Bei RAG ist sichtbar, auf welche Passage sich eine Antwort stützt. Bei Wissen, das in Modellparametern steckt, ist das kaum möglich. Und schließlich lassen sich Zugriffsrechte bei RAG auf Dokumentebene steuern, während ein trainiertes Modell nicht zuverlässig „vergessen“ kann, was es einmal gelernt hat.
In der Praxis schließen sich beide Wege nicht aus. Für die meisten Mittelständler dürfte RAG aber der pragmatischere Einstieg sein.
Typische Einsatzfelder
- Interne Wissensdatenbank: Mitarbeiter fragen in natürlicher Sprache nach Reisekostenregeln, Prozessen oder Zuständigkeiten, statt sich durch Intranet-Ordner zu klicken.
- Kundenservice: Servicemitarbeiter erhalten Antwortvorschläge auf Basis von Produktdokumentation und gelösten Tickets.
- Verträge: Einkauf und Rechtsabteilung finden schneller Kündigungsfristen, Haftungsklauseln oder abweichende Regelungen in großen Vertragsbeständen. Die rechtliche Bewertung bleibt beim Menschen.
- Technische Dokumentation: Techniker im Außendienst oder in der Fertigung durchsuchen Wartungsanleitungen und Fehlerberichte, ohne das passende Handbuch kennen zu müssen.
Wo die Grenzen liegen
RAG ist kein Selbstläufer. Die Qualität der Antworten hängt unmittelbar an der Qualität der Dokumente. Veraltete Versionen, widersprüchliche Richtlinien oder schlecht eingescannte PDFs landen ungefiltert im Index – und damit in den Antworten.
Ein RAG-System ist nur so verlässlich wie das Wissen, das man ihm gibt.
Zweitens werden Zugriffsrechte zur Kernfrage. Wenn ein Assistent auf Personalakten, Gehaltslisten oder Vorstandsprotokolle zugreifen kann, muss er die bestehenden Berechtigungen exakt abbilden. Sonst erfährt ein Mitarbeiter über die KI, was er im Dateisystem nie hätte öffnen dürfen.
Drittens bleiben Halluzinationen möglich. RAG reduziert das Risiko erfundener Aussagen, beseitigt es aber nicht. Eine Studie der Stanford University aus dem Jahr 2024 untersuchte spezialisierte juristische Recherchewerkzeuge, die auf abrufgestützten Verfahren beruhen. Die Autoren stellten fest, dass die geprüften Werkzeuge von LexisNexis und Thomson Reuters in 17 bis 33 Prozent der Fälle halluzinierten – seltener als ein allgemeiner Chatbot, aber weit entfernt von fehlerfrei.
Viertens gelten die rechtlichen Rahmenbedingungen auch für interne Systeme. Sobald personenbezogene Daten verarbeitet werden, greift die DSGVO mit ihren Grundsätzen wie Zweckbindung und Datenminimierung (Art. 5 DSGVO). Bei neuen Technologien mit voraussichtlich hohem Risiko für Betroffene kann eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO erforderlich sein. Seit dem 2. August 2026 gelten zudem die Transparenzpflichten nach Art. 50 der KI-Verordnung: Menschen müssen etwa erkennen können, dass sie mit einem KI-System interagieren, sofern das nicht offensichtlich ist. Was das im Einzelnen bedeutet, erläutert der SIGNO-Beitrag „EU AI Act: Was seit August 2026 für Unternehmen gilt“. Welche Pflichten im Einzelfall greifen, sollte mit Datenschutzbeauftragten und Rechtsberatern geklärt werden.
Treiber und Szenarien: Wohin sich RAG entwickelt
Zwei Entwicklungen prägen die nächsten Jahre. Die erste sind KI-Agenten. Statt eine Frage mit einer einzigen Suche zu beantworten, planen agentenbasierte Systeme mehrere Schritte: Sie formulieren Suchanfragen um, kombinieren Quellen und prüfen Zwischenergebnisse. Die Forschung fasst das unter dem Begriff „Agentic RAG“ zusammen. Für Unternehmen bedeutet das: RAG wird vom Auskunftssystem zum Baustein für Prozesse, etwa wenn ein Agent Angebotsunterlagen aus Produktdaten, Preislisten und früheren Projekten zusammenstellt. Wie KI heute schon im Vertrieb eingesetzt wird, zeigt „KI im Vertrieb: Angebote in Minuten statt Stunden“.
Die zweite Entwicklung sind größere Kontextfenster. Google kündigte bereits im Februar 2024 für Gemini 1.5 Pro ein Kontextfenster von bis zu einer Million Tokens in einer eingeschränkten Vorschau an. Damit lassen sich ganze Dokumentensammlungen direkt an ein Modell übergeben. Macht das RAG überflüssig? Vorsicht ist angebracht. Die Studie „Lost in the Middle“ (Liu et al., 2023) zeigte, dass Sprachmodelle Informationen am Anfang und am Ende langer Eingaben besser nutzen als in der Mitte. Hinzu kommen Kosten pro Anfrage und die Frage, welche Dokumente ein Nutzer überhaupt sehen darf.
Realistisch erscheinen daher drei Szenarien:
- Ergänzung: Große Kontextfenster und RAG wirken zusammen. Die Suche wählt aus, das Modell verarbeitet mehr relevanten Kontext auf einmal.
- Verlagerung: Bei kleinen, überschaubaren Dokumentenbeständen tritt die klassische Vektorsuche in den Hintergrund.
- Integration: RAG verschwindet als eigenständiges Projekt und wird Standardfunktion in Bürosoftware, CRM- und ERP-Systemen – die Anforderungen an Datenqualität und Berechtigungen bleiben dieselben.
In allen drei Szenarien gilt: Wer sein Wissen strukturiert und gepflegt hat, profitiert unabhängig von der Technik.
Was Unternehmen jetzt vorbereiten sollten
- Wissensinventar erstellen: Welche Dokumente, Systeme und Datenbestände enthalten das entscheidende Wissen? Wer ist jeweils verantwortlich?
- Zugriffsrechte klären: Bestehende Berechtigungen prüfen und festlegen, dass ein KI-System sie ohne Ausnahme übernimmt.
- Datenpflege organisieren: Veraltete Versionen aussortieren, Dubletten bereinigen, Verantwortliche für Aktualität benennen.
- Pilot eng zuschneiden: Mit einem klar umrissenen Anwendungsfall und einer überschaubaren Nutzergruppe beginnen, etwa einer Abteilung oder einer Produktlinie.
- Erfolg messen: Vorab festlegen, woran Erfolg erkennbar ist – etwa Antwortqualität anhand von Stichproben, Zeitersparnis bei Recherchen oder Nutzungsrate.
- Rechtsrahmen einbinden: Datenschutzbeauftragte früh beteiligen und Transparenzpflichten nach der KI-Verordnung berücksichtigen.
Fazit
RAG ist weniger eine Frage der Technologie als eine Frage der Ordnung im eigenen Haus. Das Verfahren macht vorhandenes Unternehmenswissen durchsuchbar, aktuell und überprüfbar, ohne ein Sprachmodell neu trainieren zu müssen. Seine Grenzen liegen dort, wo Dokumente veraltet, Rechte ungeklärt oder Antworten ungeprüft übernommen werden. Für den Mittelstand liegt die eigentliche Aufgabe deshalb nicht in der Wahl eines Anbieters, sondern in der Vorarbeit: Wissen inventarisieren, pflegen und schützen. Wer diese Hausaufgaben erledigt, ist für jede der absehbaren Entwicklungen gerüstet.
Quellen
- Lewis et al. (2020): Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, arXiv:2005.11401 – https://arxiv.org/abs/2005.11401
- Liu et al. (2023): Lost in the Middle: How Language Models Use Long Contexts, arXiv:2307.03172 – https://arxiv.org/abs/2307.03172
- Magesh et al. (2024): Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools, arXiv:2405.20362 – https://arxiv.org/abs/2405.20362
- Singh et al. (2025): Agentic Retrieval-Augmented Generation: A Survey on Agentic RAG, arXiv:2501.09136 – https://arxiv.org/abs/2501.09136
- Google: Our next-generation model: Gemini 1.5 (15.02.2024) – https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/
- Europäische Kommission: Transparency obligations under Article 50 of the AI Act (FAQ) – https://digital-strategy.ec.europa.eu/en/faqs/transparency-obligations-under-article-50-ai-act
- EUR-Lex: Verordnung (EU) 2024/1689 (KI-Verordnung) – https://eur-lex.europa.eu/eli/reg/2024/1689/oj
- EUR-Lex: Verordnung (EU) 2016/679 (DSGVO) – https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32016R0679
