Technical

RAG (Retrieval Augmented Generation) erklärt: So nutzt KI Ihre Daten

Standard-KI kennt nur Trainingsdaten bis 2023. RAG macht KI zu Ihrem Unternehmens-Experten: Confluence, SharePoint, 30 Jahre Firmenwissen - alles durchsuchbar. Dieser technische Guide erklärt, wie RAG funktioniert und zeigt 6.090% ROI.

Niklas Coors
Niklas Coors
CEO & Co-Founder
3. Oktober 2025
13 Min. Lesezeit

Die Demo lief perfekt. Bis zur einen Frage. "Aber kann die KI auch unsere internen Prozesse kennen? Unsere 30 Jahre Confluence-Wissen?" Der Sales-Rep zögerte. "Äh... nein. ChatGPT kennt nur allgemeines Wissen."

Der Geschäftsführer: "Jedes Mal Dokumente hochladen? Wir haben 10.000 Confluence-Seiten." Der Deal war tot.

Später im Office: "Wir verlieren Deals, weil ChatGPT keine Unternehmensdaten kennt." Der CTO nickte. "Ich weiß. Wir brauchen RAG."

Visualisierung eines Wissensdatenbank-Netzwerks
RAG verbindet KI mit Ihren Unternehmensdaten für präzise, quellenbasierte Antworten

RAG – Retrieval Augmented Generation. Der Unterschied zwischen "ChatGPT ist ganz nett" und "KI ist transformativ".

Standard-KI kennt:

  • ✅ Allgemeines Wissen (Wikipedia-Level)
  • ✅ Öffentliche Informationen (bis 2023)

Standard-KI kennt NICHT:

  • ❌ Ihre interne Urlaubsregelung
  • ❌ Ihre Produktspezifikationen
  • ❌ Ihre 10.000 Confluence-Seiten

RAG löst das: Automatische Integration mit Confluence, SharePoint, Google Drive. Einmal setup → alle Dokumente durchsuchbar.

Das Ergebnis:

  • Frage: "Was ist unsere Rückgabepolicy?"
  • Standard-KI: "Ich weiß es nicht."
  • RAG-KI: "30 Tage Rückgaberecht. 24 Monate Gewährleistung. Quelle: Kundenservice-Handbuch, Seite 23"

ROI: 15 Minuten Suche → 30 Sekunden. Bei 1.000 MA: 6.000%+ ROI. (10 KI-Anwendungsfälle mit sofortigem ROI)

RAG in Zahlen: Standard-KI kennt nur Trainingsdaten (bis 2023). RAG macht Ihre Unternehmensdaten nutzbar (10.000+ Dokumente). Suchdauer: 15 Min → 30 Sek. Bei 1.000 MA, 10 Suchen/Tag: 5,2 Mio. €/Jahr Zeitersparnis. Kosten: 84.000€/Jahr. ROI: 6.090%.

Visualisierung eines Wissensdatenbank-Netzwerks
RAG verbindet KI mit Ihren Unternehmensdaten für präzise, quellenbasierte Antworten

Das Problem: KI ohne Unternehmensdaten ist nur halb so wertvoll

Standard-KI (ohne RAG):

Was sie kann:

  • Allgemeines Wissen (Wikipedia-Level)
  • Sprachverarbeitung, Texterstellung
  • Code generieren, Daten analysieren
  • Kreativität, Brainstorming

Was sie NICHT kann:

  • ❌ Firmeninterne Prozesse kennen
  • ❌ Auf Confluence/SharePoint zugreifen
  • ❌ Kundendaten analysieren
  • ❌ Unternehmensspezifische Fragen beantworten

Beispiel-Dialog:

User: "Was ist unsere Urlaubsregelung?"

KI (ohne RAG): "Ich kenne Ihre spezifische Urlaubsregelung nicht. In Deutschland beträgt der gesetzliche Mindesturlaub 20 Tage bei einer 5-Tage-Woche..."

❌ Nutzlos. Der User wollte die firmeninterne Regelung wissen, nicht das Gesetz.

User: "Was ist unsere Urlaubsregelung?"

KI (mit RAG): "Laut dem HR-Handbuch (aktualisiert März 2024, Seite 12): Alle Mitarbeiter erhalten 30 Tage Urlaub pro Jahr. Zusätzlich gibt es 2 Sonderurlaubstage für besondere Anlässe. Die Beantragung erfolgt über das Portal unter hr.unternehmen.de/urlaub."

✅ Perfekt! Präzise Antwort mit Quellenangabe.

Der Unterschied: Mit RAG wird KI zu Ihrem Unternehmens-Experten. Sie kennt:

Und das in Echtzeit - wenn sich ein Dokument in Confluence ändert, weiß die KI es sofort.

Wie RAG funktioniert: Die 4 Schritte

RAG ist technisch komplex, aber das Prinzip ist einfach. Hier die 4 Schritte im Detail.

Schritt 1: Indexierung (einmalig, bei Setup)

Was passiert:

  1. Dokumente werden hochgeladen oder aus Datenquellen geladen (Confluence, SharePoint, Google Drive)
  2. Dokumente werden in kleine Chunks aufgeteilt (typisch: 500-1000 Wörter)
  3. Jeder Chunk wird in einen Embedding-Vektor umgewandelt (mathematische Repräsentation)
  4. Vektoren werden in einer Vektordatenbank gespeichert

Technische Details:

Beispiel: 500-Seiten-Handbuch indexieren

1. PDF hochladen: "Produkthandbuch_2024.pdf" (500 Seiten)

2. OCR durchführen (falls gescannt): Text extrahieren

3. In Chunks aufteilen:

- Chunk 1: Seite 1-3 (Einleitung)

- Chunk 2: Seite 4-6 (Installation)

- Chunk 3: Seite 7-9 (Konfiguration)

- ... (250 Chunks gesamt)

4. Embeddings erstellen:

- Chunk 1 → Vektor [0.123, 0.456, 0.789, ...]

- Chunk 2 → Vektor [0.234, 0.567, 0.890, ...]

5. In Vektordatenbank speichern (Pinecone, Weaviate, Qdrant)

6. Fertig! (Dauer: ~10 Min für 500 Seiten)

Schritt 2: Retrieval (Suche, bei jeder Anfrage)

Was passiert:

  1. User stellt Frage: "Wie installiere ich Produkt X?"
  2. Frage wird in Embedding-Vektor umgewandelt
  3. Ähnlichkeitssuche in der Vektordatenbank (Cosine Similarity)
  4. Top 5 relevanteste Chunks werden gefunden

Beispiel:

Frage: "Wie installiere ich Produkt X?"

Embedding: [0.345, 0.678, 0.912, ...]

Ähnlichkeitssuche:

Chunk 247 (Similarity: 0.92) - "Installation von Produkt X"

Chunk 248 (Similarity: 0.88) - "Systemvoraussetzungen"

Chunk 249 (Similarity: 0.85) - "Schritt-für-Schritt-Anleitung"

Chunk 12 (Similarity: 0.81) - "Häufige Installationsfehler"

Chunk 250 (Similarity: 0.79) - "Erste Konfiguration"

→ Top 5 Chunks gefunden (in 200ms)

Schritt 3: Augmentation (Anreicherung)

Was passiert:

  1. Die 5 gefundenen Chunks werden zum Prompt hinzugefügt
  2. KI erhält Kontext aus Ihren Dokumenten
  3. KI kann präzise antworten (nicht halluzinieren)

Beispiel-Prompt:

System-Prompt:

"Du bist ein Experte für Produkt X. Beantworte Fragen basierend auf den folgenden Dokumenten. Zitiere immer die Quelle."

Kontext (die 5 Chunks):

Dokument: Produkthandbuch_2024.pdf, Seite 45:

"Installation von Produkt X: 1. Laden Sie die neueste Version von..."

User-Frage:

"Wie installiere ich Produkt X?"

→ KI hat jetzt alle Informationen!

Schritt 4: Generation (Antwort)

Was passiert:

  1. KI liest die 5 Chunks
  2. Generiert Antwort basierend auf echten Daten
  3. Fügt Quellenangabe hinzu
  4. User erhält fundierte Antwort

Beispiel-Antwort:

Installation von Produkt X (3 Schritte):

  1. Laden Sie die neueste Version von unserer Website herunter (produkt-x.com/download)
  2. Führen Sie das Installationsprogramm aus. Systemvoraussetzungen: Windows 10+, 8GB RAM, 2GB Festplatte
  3. Folgen Sie dem Setup-Wizard. Bei der Konfiguration wählen Sie Ihren Lizenztyp (Standard/Pro/Enterprise)

📚 Quelle: Produkthandbuch 2024, Seiten 45-47

⚠️ Häufiger Fehler: Firewall-Einstellungen vergessen. Siehe Seite 48 für Details.

Das Ergebnis:

  • ✅ Präzise Antwort basierend auf echten Daten
  • ✅ Quellenangabe (nachvollziehbar)
  • ✅ Keine Halluzinationen
  • ✅ Immer aktuell (Daten werden regelmäßig re-indexiert)

RAG in Plotdesk: Das Files-Feature

Plotdesk implementiert RAG über das Files-Feature - optimiert für Enterprise-Anforderungen.

Kernfeatures:

1. Massenupload (1.000+ Dokumente)

  • PDFs, Word, Excel, PowerPoint
  • Bulk-Upload per Drag & Drop
  • Automatische Indexierung im Hintergrund

2. Optimierte OCR-Engine

  • Auch gescannte PDFs werden erkannt
  • Eigene OCR-Engine (besser als Standard)
  • Tabellen, Diagramme, Bilder

3. Semantische Suche

  • Nicht nur Keywords, sondern Bedeutung
  • Versteht Synonyme, Kontext
  • Findet relevante Passagen, auch wenn Wort nicht vorkommt

4. Live-Links zu Azure Blob Storage

  • Dokumente bleiben in Ihrer Infrastruktur
  • Plotdesk greift nur lesend zu
  • Automatische Updates bei Änderungen

5. Quellenangaben & Nachvollziehbarkeit

  • Jede Antwort mit Quellenangabe
  • Direktlink zum Originaldokument
  • Seitenzahl, Datum, Autor

6. Berechtigungen respektiert

Top 6 Use Cases für RAG

Use Case #1: Wissensmanagement & Onboarding

Das Problem:

  • Neue Mitarbeiter stellen 50+ Fragen in ersten Wochen
  • Onboarding-Buddy verbringt 10h/Woche mit Antworten
  • Informationen sind in 10 verschiedenen Systemen
  • Onboarding dauert 8 Wochen

Die RAG-Lösung:

  • Alle Onboarding-Materialien indexiert (Wiki, Handbücher, Videos)
  • Neuer Mitarbeiter fragt KI statt Buddy
  • "Wie funktioniert unser Urlaubsprozess?" → Sofortige Antwort mit Quelle
  • "Wo finde ich IT-Support?" → Direkt mit Link zum Ticketsystem

Ergebnis:

  • Onboarding-Zeit: 8 Wochen → 4 Wochen
  • Buddy-Zeitersparnis: 10h/Woche → 2h/Woche
  • Neue Mitarbeiter produktiver, schneller
  • ROI: 50% kürzere Einarbeitungszeit = 20.000€ pro Mitarbeiter (HR-Prozesse mit KI digitalisieren)

Use Case #2: Technischer Support

Das Problem:

  • Support erhält 100 Tickets/Woche
  • 60% sind Standardfragen (schon 100× beantwortet)
  • Support muss jedes Mal Dokumente durchsuchen
  • Durchschnittliche Lösungszeit: 45 Minuten

Die RAG-Lösung:

  • Alle Produktdokumentationen indexiert
  • Support-Bot beantwortet Standardfragen automatisch
  • Komplexe Fragen: Support nutzt RAG für schnellere Recherche
  • "Fehlermeldung XY123" → Sofortige Lösung mit Troubleshooting-Guide

Ergebnis:

  • 60% der Tickets automatisch gelöst
  • Lösungszeit: 45 Min → 10 Min (bei komplexen Fragen)
  • Support-Team kann 2× mehr Tickets bearbeiten
  • ROI: 50% Kosteneinsparung = 200.000€/Jahr bei 10-Personen-Team (KI-Chatbots im Kundenservice)

Use Case #3: Vertrieb & Produktinformationen

Das Problem:

  • Vertrieb braucht Produktinfos für Angebote
  • 1.000+ Produkte, ständig neue Features
  • Produktmanager sind überlastet mit Anfragen
  • Produktinfos sind in 5 verschiedenen Systemen

Die RAG-Lösung:

  • Alle Produktdatenblätter, Spezifikationen, Preislisten indexiert
  • Vertrieb fragt KI statt Produktmanager
  • "Was sind die technischen Specs von Produkt Y?" → Sofortige Antwort
  • "Welche Produkte passen für Kunde Z?" → Empfehlungen basierend auf Requirements

Ergebnis:

  • Anfragen an Produktmanagement: -80%
  • Angebotserstellung: 2h → 30 Min
  • Weniger Fehler in Angeboten
  • ROI: 15h/Woche Zeitersparnis = 40.000€/Jahr bei 5-Personen-Vertriebsteam

Use Case #4: Compliance & Audit-Vorbereitung

Das Problem:

  • ISO 27001-Audit steht an
  • Auditoren fragen: "Wo ist Ihre Datenschutz-Richtlinie?"
  • Richtlinien sind in 20 verschiedenen Dokumenten
  • Compliance-Team braucht 2 Wochen für Vorbereitung

Die RAG-Lösung:

  • Alle Compliance-Dokumente indexiert (ISO, DSGVO, Richtlinien, Prozesse)
  • Audit-Vorbereitung mit KI
  • "Wo ist unsere Incident-Response-Policy?" → Sofortige Antwort mit Dokumentenlink
  • Automatische Gap-Analyse: "Welche ISO 27001-Anforderungen sind noch nicht dokumentiert?"

Ergebnis:

  • Audit-Vorbereitung: 2 Wochen → 2 Tage
  • Alle Dokumente auffindbar
  • Audit bestanden
  • ROI: 80h Zeitersparnis = 8.000€ + vermiedenes Audit-Failure (unbezahlbar) (ISO 27001 & KI-Compliance)

Use Case #5: Entwicklung & Code-Dokumentation

Das Problem:

  • Legacy-Code ohne Dokumentation
  • Neue Entwickler brauchen Wochen zum Verständnis
  • "Wie funktioniert Modul X?" → Keiner weiß es mehr

Die RAG-Lösung:

  • Gesamte Codebase indexiert (inklusive Kommentare, READMEs, Architecture Docs)
  • Entwickler fragen KI
  • "Wie funktioniert das Authentication-Modul?" → Code-Erklärung + Architektur-Diagramm
  • "Wo wird User-Permission geprüft?" → Exakte Codezeilen

Ergebnis:

  • Einarbeitungszeit: 4 Wochen → 1 Woche
  • Weniger Rückfragen an Senior Devs
  • Bessere Code-Qualität
  • ROI: 30% schnellere Entwicklung = 300.000€/Jahr bei 10-Entwickler-Team

Use Case #6: Rechtsabteilung & Vertragsanalyse

Das Problem:

  • 1.000+ Verträge mit Lieferanten, Kunden
  • Bei Verhandlungen: "Was haben wir letztes Mal vereinbart?"
  • Manuelles Durchsuchen: 2h pro Vertrag

Die RAG-Lösung:

  • Alle Verträge indexiert (OCR für gescannte Dokumente)
  • "Was ist unsere Standard-Zahlungsfrist?" → Antwort aus allen Verträgen
  • "Welche Verträge haben Kündigungsfrist 3 Monate?" → Liste aller relevanten Verträge
  • Automatische Abweichungserkennung: "Vertrag A hat abweichende Klausel"

Ergebnis:

  • Vertragsrecherche: 2h → 5 Min
  • Bessere Verhandlungsposition (alle Daten verfügbar)
  • Compliance-Sicherheit
  • ROI: 15h/Woche Zeitersparnis = 60.000€/Jahr bei 2-Personen-Legal-Team

Setup-Anleitung: RAG in 6 Schritten

Schritt 1: Datenquellen identifizieren

Wo liegen Ihre Unternehmensdaten?

  • ✅ Confluence (Wiki, Dokumentationen)
  • ✅ SharePoint (Dateien, Listen)
  • ✅ Google Drive (Dokumente, Präsentationen)
  • ✅ Lokale Dateien (PDFs, Word, Excel)
  • ✅ ERP-Systeme (Dynamics) (ERP-Systeme mit KI verbinden)
  • ✅ CRM-Systeme (HubSpot, Salesforce) (HubSpot-KI-Integration)

Empfehlung: Starten Sie mit 1-2 Quellen (z.B. Confluence), dann erweitern.

Schritt 2: Daten bereinigen (optional, aber empfohlen)

Qualität der Eingangsdaten = Qualität der Antworten

Checkliste:

  • ✅ Veraltete Dokumente löschen
  • ✅ Duplikate entfernen
  • ✅ Dokumente aktualisieren
  • ✅ Metadaten pflegen (Titel, Autor, Datum)

Faustregel: 80% der Dokumente sind veraltet → Erst bereinigen, dann indexieren.

Schritt 3: Plotdesk Files-Container erstellen

In Plotdesk:

  1. Gehe zu "Files"
  2. Klicke "Neuer Container"
  3. Name: "Produktdokumentation" (oder "Unternehmenswissen")
  4. Upload-Methode wählen:
    • Manueller Upload (Drag & Drop)
    • Confluence-Integration (OAuth)
    • SharePoint-Integration (Microsoft 365)
    • API-Upload (für große Mengen) (API-Integration Best Practices)

Schritt 4: Dokumente hochladen/anbinden

Option A: Manueller Upload

  • Drag & Drop von PDFs, Word, Excel
  • Bulk-Upload möglich (1.000+ Dateien)
  • Fortschrittsanzeige

Option B: Confluence-Integration

Option C: SharePoint-Integration

  • Microsoft 365-Verbindung (Microsoft 365 mit KI verbinden)
  • Sites und Libraries auswählen
  • Berechtigungen werden respektiert
  • Automatische Synchronisation

Schritt 5: Indexierung abwarten

Was passiert im Hintergrund:

  • Texterkennung (OCR bei gescannten PDFs)
  • Chunking (Aufteilung in Abschnitte)
  • Embedding-Generierung
  • Speicherung in Vektordatenbank

Dauer:

  • 100 Dokumente: ~5 Minuten
  • 1.000 Dokumente: ~30 Minuten
  • 10.000 Dokumente: ~3 Stunden

Status: Fortschrittsbalken in Plotdesk

Schritt 6: Testen & Optimieren

Testing:

  1. Stelle 10 typische Fragen
  2. Prüfe Antwort-Qualität
  3. Prüfe Quellenangaben
  4. Prüfe Relevanz

Optimierung:

  • Bei schlechten Antworten: Dokumente verbessern (nicht KI)
  • Bei fehlenden Antworten: Fehlende Dokumente hinzufügen
  • Bei veralteten Antworten: Dokumente aktualisieren

Fertig! RAG ist einsatzbereit.

Best Practices für RAG

Best Practice #1: Gute Datenqualität

Garbage In = Garbage Out gilt besonders bei RAG.

Checkliste für gute Datenqualität:

  • ✅ Dokumente aktuell (nicht älter als 2 Jahre)
  • ✅ Keine Duplikate
  • ✅ Klare Struktur (Überschriften, Absätze)
  • ✅ Metadaten gepflegt (Titel, Autor, Datum)
  • ✅ Keine Scans in schlechter Qualität
  • ✅ Konsistente Terminologie

Tipp: 2 Tage Datenbereinigung sparen 2 Monate Frustration.

Best Practice #2: Klare Dateistrukturen

Gut:

Produktdokumentation/

├── Produkt_A/

│ ├── Handbuch_2024.pdf

│ ├── Installation.pdf

│ └── FAQ.pdf

├── Produkt_B/

└── Produkt_C/

Schlecht:

Dokumente/

├── doc1.pdf

├── final_FINAL_v2.pdf

├── Kopie von doc1.pdf

└── neu (1).pdf

Best Practice #3: Regelmäßige Updates

Dokumente ändern sich - Ihre RAG-Datenbank sollte es auch.

Update-Strategie:

  • Automatisch: Bei Confluence/SharePoint-Integration (täglich)
  • Manuell: Upload neuer Versionen
  • Scheduled: Wöchentliche Re-Indexierung

**Best Practice #4: Berechtigungen beachten

Wichtig: RAG respektiert Berechtigungen!

Wenn User A kein Zugriff auf "Vertrauliche_Strategie.pdf" hat:

  • → KI zeigt diese Informationen NICHT
  • Auch wenn sie relevant wären

Vorteil: DSGVO-konform, secure by design

Die ROI-Rechnung: Warum RAG sich immer lohnt

Szenario: Mittelständisches Unternehmen, 1.000 Mitarbeiter

Problem:

  • Mitarbeiter verbringen 20% ihrer Zeit mit Informationssuche (McKinsey-Studie)
  • 60% der Suchanfragen bleiben erfolglos
  • Durchschnittlich 10 Suchen pro Tag pro Mitarbeiter
  • Durchschnittliche Suchdauer: 15 Minuten

Rechnung ohne RAG:

1.000 Mitarbeiter × 10 Suchen/Tag × 15 Min = 150.000 Min/Tag

= 2.500 Stunden/Tag

= 625.000 Stunden/Jahr (250 Arbeitstage)

Bei 50€/h: 31,25 Mio. €/Jahr nur für Informationssuche!

Mit RAG:

  • Suchdauer: 15 Min → 30 Sek
  • Zeitersparnis: 14,5 Min pro Suche
  • Erfolgsquote: 60% → 95%

1.000 Mitarbeiter × 10 Suchen/Tag × 14,5 Min = 145.000 Min/Tag gespart

= 2.417 Stunden/Tag

= 604.250 Stunden/Jahr

Bei 50€/h: 30,21 Mio. €/Jahr Zeitersparnis

Kosten Plotdesk: 84.000€/Jahr

ROI: 35.864% 🤯

Realistische Korrektur:

Die obige Rechnung ist theoretisch maximal. In der Praxis:

  • Nicht alle Suchanfragen sind durch RAG ersetzbar
  • Annahme: 30% der Suchanfragen profitieren von RAG

Realistische Zeitersparnis:

  • 30% × 30,21 Mio. € = 9,06 Mio. €/Jahr
  • Kosten: 84.000€/Jahr
  • Realistischer ROI: 10.686%

Selbst mit konservativen Annahmen lohnt sich RAG immer.

RAG ist der fundamentale Unterschied zwischen "netter Spielerei" und "geschäftskritischer Infrastruktur". Ohne RAG bleibt KI auf allgemeines Wissen beschränkt. Mit RAG wird sie zum Experten für Ihr Unternehmen – mit Zugriff auf 30 Jahre Firmenwissen, die sonst in Systemen vergraben wären.
Niklas Coors
CEO Plotdesk

RAG-Demo mit Ihren Daten

Sehen Sie live, wie RAG Ihre Confluence- oder SharePoint-Daten durchsuchbar macht. Wir zeigen Ihnen den Unterschied zwischen Standard-KI und RAG an Ihren eigenen Dokumenten.

Fazit: RAG ist der Gamechanger für Wissensmanagement

Ohne RAG ist KI nur ein besseres Google. Mit RAG wird KI zu Ihrem Unternehmens-Experten.

Die Vorteile:

  • ✅ Informationen in Sekunden statt Minuten finden
  • ✅ Präzise Antworten mit Quellenangaben
  • ✅ 30 Jahre Firmenwissen nutzbar machen
  • ✅ Neue Mitarbeiter schneller produktiv
  • ✅ Support effizienter
  • ✅ Compliance einfacher

Die Kosten:

  • Setup: 1-2 Wochen
  • Laufend: 84.000€/Jahr (bei 1.000 Usern)

Der ROI:

Unser Rat: Wenn Sie nur ein KI-Feature implementieren - machen Sie RAG. Es ist der Gamechanger. (Komplette KI-Einführungs-Roadmap)

Bereit, Ihre
KI-Transformation zu starten?

Lassen Sie uns in einem kostenlosen Gespräch analysieren, wie Plotdesk Ihr Unternehmen produktiver macht.

30 Tage kostenlos testen
Setup in unter einer Woche
100% DSGVO-konform

Vertraut von führenden Unternehmen

Plotdesk Kunde Plotdesk Kunde Plotdesk Kunde
+10k
Bereits über 10.000 Nutzer arbeiten täglich mit Plotdesk