Ein RAG-System mit Unternehmensdaten aufbauen

Retrieval-Augmented Generation ruft passenden Kontext aus Unternehmensdaten ab, bevor ein generatives Modell eine Antwort erzeugt.

RAG umfasst mehr als das Laden von Dokumenten in eine Vektordatenbank. Datenaufbereitung, Zugriffskontrolle, Retrievalqualität, Quellenangaben und Evaluation müssen gemeinsam gestaltet werden.

Quellenverzeichnis

Erfassen Sie zunächst Quellen wie Richtlinien, Verfahren, technische Dokumente, Produktinformationen, Supportinhalte und Verträge.

Nicht-aktuelle oder widersprüchliche Dokumente beeinflussen direkt die Qualität des Abrufs.

Dokumentenparsing

Erhalten Sie beim Extrahieren von Text aus PDF, Word, HTML oder anderen Formaten möglichst Überschriften, Tabellen, Listen und Abschnittsstruktur.

Aufteilung in Textabschnitte (Chunking)

Zu kleine Textabschnitte können Kontext verlieren, zu große die Präzision des Retrievals verringern. Berücksichtigen Sie Abschnitte, Überschriften und semantische Struktur.

Embeddings und Indexierung

Textabschnitte können in Embedding-Vektoren umgewandelt und in einen Suchindex aufgenommen werden. Metadaten können Quelle, Abschnitt, Datum, Abteilung und Zugriffsstufe enthalten.

Hybrides Retrieval

Semantische Suche kann mit lexikalischer Suche wie Schlüsselwortabgleich oder BM25 kombiniert werden, statt nur semantische Vektorsuche zu nutzen.

Neusortierung (Reranking)

Die Kandidaten im ersten Retrieval-Ergebnis können mit einer zweiten Ranking-Ebene neu geordnet werden und nur der relevanteste Kontext kann an das Modell gesendet werden.

Zitation und Herkunft

Der Benutzer sollte in der Lage sein zu sehen, auf welchem Dokument die Antwort basiert. Der Quellname, der Abschnitt und gegebenenfalls der direkte Dokumentlink können angezeigt werden.

Bewertung der RAG

Recall beim Retrieval
Kontextgenauigkeit
Korrektheit der Antwort
Belegbarkeit durch Quellen
Unbelegte Aussage
Zitiergenauigkeit
Latenz

KI-Systeme für den produktiven Einsatz bewerten

Bereiten Sie vor dem Produktivbetrieb getrennte Evaluierungsdatensätze für folgende Bereiche vor: Quelleninventar, Dokumentenparsing und Chunking. Entscheiden Sie nicht nur anhand weniger erfolgreicher Demofragen, sondern bilden Sie reale Nutzeraufgaben als erfolgreiche, fehlerhafte und Grenzfälle ab. Definieren Sie erwartetes Verhalten, akzeptable Fehlergrenzen und nötige menschliche Eingriffe je Beispiel. So lassen sich Modell-, Retrieval- und Workflow-Änderungen mit demselben Testsatz vergleichen.

Produktionsmonitoring muss klassische Anwendungs- und KI-Qualitätskennzahlen verbinden. Technisch sind Latenz, Token- oder Modellkosten, Werkzeugfehler und API-Zeitüberschreitungen relevant; für Produktqualität falsche Quellen, unbelegte Aussagen, Benutzerkorrekturen, menschliche Eingriffe und Aufgabenerfolg. Bei Modell- oder Promptwechsel muss eine Regressionsevaluation den Erhalt des bisherigen Qualitätsniveaus prüfen.

Datensicherheit und Governance

Behandeln Sie Modelldaten, Retrievalquellen, Gesprächsprotokolle und Werkzeugausgaben als getrennte Datenflüsse. Personenbezogene oder geschäftlich sensible Daten gehören nicht unnötig in Prompts; der Zugriff muss nach Benutzerrolle begrenzt sein. Bewerten Sie Modell und Anbieter, Verarbeitungsorte und Aufbewahrung der Protokolle gemeinsam mit Datenschutz- und Sicherheitsprozessen. Die KI-Schicht darf keinen parallelen Datenzugang schaffen, der bestehende Berechtigungen umgeht.

Checkliste für produktive KI

Sind Anwendungsfall und Erfolgskennzahl definiert?
Ist ein Evaluierungsdatensatz vorhanden?
Werden Prompt-, Modell- und Retrievalversionen verfolgt?
Werden Benutzerrechte in der KI-Schicht durchgesetzt?
Nutzen Werkzeugaufrufe eine Schemavalidierung?
Ist menschliche Freigabe für riskante Aktionen vorgesehen?
Werden Latenz und Modellkosten gemessen?
Werden falsche Antworten und Nutzerkorrekturen klassifiziert?

Fehlertaxonomie und kontrollierte Einführung

Alle Fehler als „KI hat falsch geantwortet“ zu erfassen, erschwert die Ursachenanalyse. Unterscheiden Sie Retrievalprobleme, fehlenden Kontext, falsche Werkzeugwahl, Berechtigungssperren, Halluzinationen, Zeitüberschreitungen, Schemavalidierungsfehler und unklare Anfragen. Ermitteln Sie die Ursache insbesondere in folgenden Bereichen: Quelleninventar, Dokumentenparsing und Chunking. So kann das Team die richtige Komponente verbessern, statt nur das Modell auszutauschen. Reale Produktionsfehler erweitern zugleich den Evaluierungsdatensatz.

Neue Modelle, Prompts, Retrievaleinstellungen oder Agentenabläufe müssen nicht alle Nutzer gleichzeitig erreichen. Beginnen Sie mit einer begrenzten Gruppe oder risikoarmen Aufgaben und vergleichen Sie Qualität, Latenz, Kosten und Weiterleitungen an Menschen mit der Vorversion. Stoppen Sie die Einführung bei schlechteren kritischen Kennzahlen und ermöglichen Sie eine Rückkehr zur Vorversion. So entsteht statt unkontrollierter Promptänderungen ein versionierter, messbarer Freigabeprozess.

Kosten- und Nutzungsgrenzen

Produktive KI braucht Ressourcensteuerung ebenso wie Qualitätssteuerung. Erfassen Sie Token, Modellaufrufe, Werkzeugnutzung, Retrievalmenge und Dauer je Benutzer oder Aufgabe. Unerwartete Schleifen, unnötig langer Kontext und wiederholte Werkzeugaufrufe erhöhen Kosten und Latenz. Maximale Schrittzahl, Zeitlimits, Kontextgrenzen, Modell-Fallback und Benutzerlimits schaffen operative Kontrolle. Bewerten Sie Kosten zusammen mit Aufgabenerfolg und optimieren Sie billige, aber erfolglose oder teure, unnötig komplexe Abläufe.

Fehlertypen getrennt protokollieren
Prompt-, Modell- und Ablaufversionen erfassen
Neue Versionen mit begrenzter Benutzergruppe testen
Rollback-Kriterien vorab definieren
Werkzeugschritte und Bearbeitungsdauer begrenzen
Token- und Modellkosten je Aufgabe messen
Produktionsfehler in Evaluationsdaten zurückführen

Der KI- und Automatisierungsansatz von B10 Digital Agency

B10 Digital Agency versteht Unternehmens-KI nicht nur als Modellintegration, sondern als Produktionssystem mit Datenzugriff, RAG, Werkzeugen, Agentenabläufen, Sicherheit, menschlicher Kontrolle und messbarer Evaluation.

Häufig gestellte Fragen

Ist RAG dasselbe wie Fine-Tuning?

Nein. RAG ruft beim Antworten externe Informationen ab; Fine-Tuning verändert Modellverhalten oder Wissen durch Training.

Sollte jedes Dokument in die Vektordatenbank aufgenommen werden?

Nein. Wählen Sie Dokumente nach Aktualität, Zugriffsrechten und Nutzwert aus.

Löst die RAG das Problem der Halluzination vollständig?

Nein. Es kann das Risiko senken, doch Evaluation und Antwortgrenzen bleiben erforderlich.

Warum ist Metadaten-Filter wichtig?

Er filtert beim Retrieval geeignete Quellen nach Datum, Abteilung oder Benutzerrechten.

Unternehmens-KI messbar machen

Entdecken Sie den KI- und Automatisierungsansatz von B10 Digital Agency zur sicheren und messbaren Integration von Assistenten, RAG, Agenten und automatisierten Abläufen in bestehende Systeme.

KI- und Automatisierungslösungen kennenlernen →